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内 容 简 介 


本 书 作为 全 国 计 算 机 技术 与 软件 专业 技术 资格 〈 水 平 ) 考试 指定 用 书 ， 本 书 全 面 系统 地 涵盖 了 软 
件 评 测 专业 的 知识 。 全 书 共 20 章 ， 对 软件 评测 的 基本 理论 、 软 件 评测 技术 、 软 件 评测 管理 以 及 软件 评 
测 具 体 案例 进行 了 系统 的 讲解 ， 附 录 部 分 对 常用 的 测试 工具 做 了 简要 的 介绍 。 

本 书 中 涉及 的 一 些 实例 全 部 取材 于 中 国 软件 评测 中 心 数 十 年 来 的 精华 ， 既 对 软件 评测 理论 作出 了 
坡 好 的 诠释 ， 也 是 软件 评测 技术 在 实践 中 应 用 的 具体 体现 。 通 过 本 书 的 学 习 ， 读 者 可 以 大 幅度 提高 软 
件 评测 的 实践 能 力 。 

本 书 既 是 软件 评测 师 考 试 培训 必 备 参考 教材 ， 也 可 供 从 事 软 件 质量 保证 、 开 发 、 管 理 以 及 信息 系 
统 工 程 监理 的 技术 人 员 使 用 。 


版 权 所 有 ， 翻 印 必 究 。 举 报 电 话 : 010-62782989 13501256678 13801310933 

本 书 封面 贴 有 清华 大 学 出 版 社 防 伪 标 签 ， 无 标签 者 不 得 销售 。 

本 书 防伪 标签 采用 清华 大 学 核 研 院 专 有 核 径 迹 膜 防伪 技术 ， 用 户 可 通过 在 图 案 家 面 涂抹 渍 水， 图案 消 
失 ， 水 干 后 图 案 复 现 : 或 将 各 面膜 揭 下 ， 帮 在 白 纸 上 用 彩 币 涂抹 ， 图 案 在 白 纸 上 再 现 的 方法 识别 真 伪 。 
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序 


在 国务 院 鼓 励 软件 产业 发 展 政策 的 带动 下 ， 我 国 软件 业 一 年 一 大 步 ， 实 现 了 跨越 式 
发 展 , 销售 收入 由 2000 年 的 593 亿 元 增加 到 2003 年 的 1633 亿 元 , 年 均 增 长 速度 39.2%; 
2000 年 出 口 软件 仅 4 亿美 元 ， 去 年 则 达到 20 亿美 元 ， 三 年 中 翻 了 两 番 多 ;， 全国“ 双 软 
认证 工作 体系 ”已 经 规范 运行 ， 截止 2003 年 11 月 底 , 认定 软件 企业 8582 家 ， 登 记 软件 
产品 18287 个 ; 11 个 国家 级 软件 产业 基地 快速 成 长 ， 人 全 人 我 国 软件 
产业 的 国际 竞争 力 日 益 提 高 。 

在 软件 产业 快速 发 展 的 带动 下 ， 人 才 和 需求 日 益 连 切 ， 队 伍 建 设 与 时 俱 进 ， 而 作为 规 
范 软件 专业 人 员 技 术 资格 的 计算 机 软件 考试 已 在 我 国 实施 了 十 余年 ， 累 计 报 考 人 数 超过 
一 百 万 ， 为 推动 我 国 软件 产业 的 发 展 作 出 了 重要 贡献 。 

软件 考试 在 全 国 率先 执行 了 以 考 代 评 的 政策 ， 取 得 了 良好 的 效果 。 为 贯彻 落实 国务 
院 颁 布 的 《振兴 软件 产业 行动 网 要 》 和 国家 职业 资格 证 书 制度 ， 国 家 人 事 部 和 信息 产业 
部 对 计算 机 软件 考试 政策 进行 了 重大 改革 ; 考试 名 称 调整 为 计算 机 技术 与 软件 专业 技术 
资格 (水 平 ) 考试 ， 考 试 对 象 从 狭义 的 计算 机 软件 扩大 到 广义 的 计算 机 软件 ， 涵 盖 了 计 
算 机 技术 与 软件 的 各 个 主要 领域 (5 个 专业 类 别 、3 个 级 别 层 次 和 20 个 职业 岗位 资格 ); 
资格 考试 和 水 平 考 试 合并 ， 采 用 水 平 考试 的 形式 《与 国际 接轨 ， 报 考 不 限 学 历 与 资历 条 
件 )， 执 行 资格 考试 政策 (各 用 人 单位 可 以 从 考试 合格 者 中 择优 聘任 专业 技术 职务 )， 这 
是 我 国人 事 制 度 改革 的 一 次 新 突破 。 此 外 ， 将 资格 考试 政策 延伸 到 高 级 资格 ， 使 考试 制 
度 更 为 完善 。 z 

信息 技术 发 展 快 ， 更 新 快 ， 要 求 从 业 人 员 不 断 适 应 和 跟 进 技术 的 变化 ， 有 鉴于 此 ， 
国家 人 事 部 和 信息 产业 部 规定 对 通过 考试 获得 的 资格 〈 水 平 ) 证 书 实行 每 隔 三 年 进行 登 
记 的 制度 ， 以 鼓励 和 促进 专业 人 员 不 断 接 受 新 知识 、 新 技术 、 新 法 规 的 继续 教育 。 考 试 
设置 的 专业 类 别 、 职 业 岗 位 也 将 随 着 国民 经 济 与 社会 发 展 而 动态 调整 。 

目前 ， 我 国 计 算 机 软件 考试 的 部 分 级 别 已 与 日 本 信息 处 理工 程 师 考试 的 相应 级 别 实 
现 了 互 认 ， 以 后 还 将 继续 扩大 考试 互 认 的 级 别 和 国家 。 

为 规范 培训 和 考试 工作 ， 信 息 产 业 部 电子 教育 中 心 组 织 一 批 具 有 较 高 理论 水 平和 丰 
富 实 践 经 验 的 专家 编写 了 全 国 计 算 机 技术 与 软件 专业 技术 资格 〈 水 平 ) 考试 的 教材 和 辅 
导 用 书 ， 按 照 考 试 大 纲 的 要 求 ， 全 面 介 绍 相 关 知 识 与 技术 ， 帮 助 考 生 学 习 和 备考 。 
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I 软件 评测 昨 数 程 


我 们 相信 ， 经 过 全 社会 的 共同 努力 ， 全 国 计 算 机 技术 与 软件 专业 技术 资格 水平) 
考试 将 会 更 加 规范 、 科 学 ， 进 而 对 培养 信 息 技术 人 才 ， 加 快 专业 队伍 建设 ， 推 动 国民 经 
济 和 社会 信息 化 作出 更 大 的 贡献 。 
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前 
软件 正 进入 测试 时 代 一 一 这 是 中 国 软件 评测 中 心 从 近 几 年 的 亲身 经 历 中 获得 的 感受 。 
国家 质 检 总 局 和 国家 信息 产业 部 从 2001 年 开始 把 软件 产品 质量 列 入 年 度 抽查 之 列 

(国家 质 检 总 局 的 抽查 简称 为 “ 国 抽 ”， 信 息 产 业 部 的 抽查 简称 为 “ 行 抽 ”)。 

国家 科技 部 从 2002 年 开始 ， 对 “863” 高 科技 项 目 中 的 软件 相关 课题 采取 “以 测 代 
评 ” 的 管理 方式 ， 请 公正 、 权 威 的 第 三 方 评测 机 构 进行 三 维 CAD、ERP、 操 作 系 统 、 网 
络 计 算 机 、 国 产 数据 库 等 专项 测试 ， 以 测试 结果 作为 项 目 是 否 通过 验收 的 重要 依据 ， 也 
以 测试 结果 的 排序 作为 研发 单位 是 否 获得 新 的 立项 支持 的 重要 依据 。 . 

”我 国 几 十 年 来 一 直 沿 用 的 专家 鉴定 会 方式 现在 也 开始 有 了 改变 一 一 先 对 所 开发 的 软 
件 技术 成 果 进 行 公正 、 权 威 的 第 三 方 测试 ， 然 后 再 提交 给 专家 鉴定 会 ， 有 的 甚至 索性 以 
测试 代替 鉴定 会 。 

国家 工商 行政 管理 总 局 、 国 家 税务 总 局 、 最 高 人 民 检 察 院 等 部 委 在 本 行业 应 用 信息 
系统 选 型 过 程 中 ， 在 判别 谁 家 研发 的 软件 能 够 “入 围 ”时 ， 也 采用 由 公正 、 权 威 的 测试 
机 构 进 行 测 试 的 手段 。 

报 近 几 年 刚刚 兴起 的 信息 工程 监理 也 把 测试 ， 特 别 是 软件 测试 作为 重要 手段 一 一 从 
过 去 的 项 目 验收 测试 发 展 到 信息 系统 监理 ， 从 过 去 的 定性 评价 发 展 到 让 “数字 ”说 话 。 

为 适应 软件 进入 测试 时 代 的 需要 ， 促 进 软件 产业 发 展 ， 相 当 多 的 省 、 自 治 区 、 直 辖 
市 和 计划 单列 市 ， 例 如 上 海 、 北 京 、 辽 宁 、 浙江、 四 川 、 重 庆 、 安 徽 、 青 岛 等 ， 成 立 了 
本 地 区 的 软件 评测 中 心 。 : 

相当 多 的 大 、 中 型 软件 企业 强化 了 软件 测试 活动 ， 不 仅 抓紧 软件 开发 人 员 的 自 测 环 
节 ， 还 配备 了 专职 的 软件 测试 人 员 和 测试 部 门 开 展 独立 的 专职 测试 。 

于 是 ， 开 始 出 现 软件 测试 人 员 紧 缺 。 人 们 开始 强烈 感到 ;软件 进入 测试 时 代 ， 人 才 
队伍 建设 是 关键 。 为 此 一 些 高 等 院 校 审 时 度 势 ， 在 多 年 来 开设 软件 测试 课程 的 基础 上 ， 
开始 筹建 或 已 经 设立 了 软件 测试 专业 。 

“软件 评测 师 ” 被 列 入 计算 机 技术 与 软件 专业 技术 资格 〈 水 平 ) 考试 。2003 年 10 月 
18 日 ， 国 家 人 事 部 和 信息 产业 部 联合 发 文 (国人 部 发 [2003]39 号 )， 决 定 在 多 年 来 实行 
程序 员 、 高 级 程序 员 〈 软 件 设计 师 ) 等 专业 技术 资格 〈 水 平 ) 考试 取得 成 功 经 验 的 基础 
上 ， 在 “中 级 资格 ”中 增加 “软件 评测 师 ” 一 项 。 自 此 ， 软 件 评测 人 员 开 始 有 了 独立 的 
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IV 软件 评测 师 教程 


专业 技术 资格 名 称 ， 这 不 仅 对 于 从 事 软 件 评测 的 人 员 是 巨大 鼓舞 和 蒜 策 ， 也 表明 了 软件 
评测 正在 成 为 独立 的 行当 ， 软 件 评测 人 员 的 地 位 和 作用 受到 前 所 未 有 的 重视 ， 这 既是 软 
件 进 入 测试 时 代 的 重要 标志 ， 也 是 推进 软件 测试 行业 发 展 的 有 力 措施 。 

要 造就 数 以 万 计 的 软件 测试 人 才 队 伍 ， 关 键 在 于 抓 好 教育 培训 ， 而 一 套 先进 实用 
的 教材 又 成 了 教育 培训 的 关键 。 中 国 软件 评测 中 心 凝聚 15 年 专业 测试 成 果 和 精华 ， 吸 
取 了 国际 和 国内 软件 测试 领域 的 经 验 ， 紧 扣 最 新 颁布 的 《软件 评测 师 考试 大 岗 》， 参 考 
了 大 量 相关 书籍 和 文献 ， 在 国内 多 位 专家 的 指导 和 帮助 下 ， 编 写 了 《软件 评测 师 教程 》 
一 书 。 

本 书 内 容 较为 全 面 地 涵盖 了 软件 评测 专业 的 知识 ， 追 溯 了 软件 测试 的 发 展 史 ， 反 映 
了 当前 国际 上 采用 的 最 先进 的 测试 理论 、 标 准 、 技 术 和 工具 ， 展 望 了 软件 测试 的 发 展 趋 
势 ， 强 调 了 表述 的 准确 性 、 知 识 的 系统 性 以 及 技术 的 先进 性 和 实用 性 。 书 中 的 软件 测试 
术语 、 测 试 方法 、 测 试 标准 统一 到 当前 最 新 的 软件 工程 、 软 件 产品 评价 和 产品 质量 等 相 
关 的 国际 、 国 家 标准 上 。 本 书 为 了 满足 广大 用 户 在 信息 系统 建设 中 对 测试 提出 的 需求 ， 
特别 注意 到 软件 测试 技术 在 信息 系统 测试 中 的 应 用 。 软 件 评测 是 理论 与 实践 紧密 结合 的 
工作 ， 为 了 使 教程 具有 较 强 的 实践 性 ， 本 书 提供 了 系统 功能 测试 、 白 盒 测试 和 性 能 故障 
定位 与 分 析 等 示范 案例 ， 以 便 从 事 软件 测试 的 人 员 能 有 更 深刻 的 理解 。 同 时 本 书 还 对 前 
瞻 性 的 软件 测试 技术 和 流行 的 测试 工具 作 了 一 些 介绍 。 

本 书 由 柳 纯 录 担任 主编 ， 黄 子 河 、 陈 涵 薄 担任 副 主编 。 第 1 章 由 黄 子 河 编写 ， 第 2 
章 由 高 炽 扬 、 罗 文兵 、 黄 民 德 编写 ， 第 3、4 章 由 黄 民 德 编写 ， 第 5 章 由 黄 江 平 编写 ,第 
6 章 由 陶 新 昕 编写 ， 第 7 章 由 耿 莉 编写 ， 第 8 章 由 陈 党 薄 编写， 第 9 章 由 黄 官 银 编写 ， 
第 10、11 章 由 喜 志 民 、 相 春雷 编写 ， 第 12 章 由 朱 璇 编写 ， 第 13 章 由 耿 莉 编写 ， 第 14 
章 由 杨 巨 森 编 写 ， 第 15 章 由 黄 官 银 编写 ， 第 16 章 由 朱 璇 编写 ， 第 17 章 由 董 晓 阳 编 写 ， 
第 18 章 由 陶 新 昕 编写 , 第 19 章 由 罗 文 兵 编写 , 第 20 章 由 陈 浸 萍 编写 , 附录 由 郝 煜 编写 ， 
全 书 由 柳 纯 录 、 黄 子 河 、 陈 浸 萍 统 稿 。 朱 琉 、 黄 官 银 、 黄 民 德 、 相 春雷 也 对 全 书 的 修改 
和 完善 做 了 大 量 的 工作 。 

本 书 着 重 于 考试 大 纲 中 的 软件 评测 知识 和 软件 测试 技术 与 应 用 相关 内 容 的 深化 和 
细 化 ， 有 些 与 基础 知识 相关 的 内 容 则 需 参考 相关 的 计算 机 技术 与 软件 技术 专业 技术 资格 
考试 教程 。 

中 国电 子 信息 产业 发 展 研究 院 、 中 国 软件 评测 中 心 各 位 领导 和 同仁 ， 信 息 产 业 部 电 
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第 一 篇 理 论 篇 
第 1 章 软件 测试 概论 


1.1 概述 


软件 测试 是 伴随 着 软件 的 产生 而 产生 的 ， 有 了 软件 生产 和 运行 就 必然 有 软件 测试 。 
早期 的 软件 开发 过 程 中 ,测试 的 含义 比较 狭窄 ， 将 测试 等 同 于 “调试 "， 目 的 是 纠正 软件 
中 已 经 知道 的 故障 ， 常 常 由 开发 人 员 自 己 完成 这 部 分 的 工作 。 对 测试 的 投入 极 少 ， 测 试 
介入 得 也 晚 ， 常 常 是 等 到 形成 代码 ， 产 品 已 经 基本 完成 时 才 进 行 测 试 。 

直到 1957 年 ， 软 件 测试 才 开 始 与 调试 区 别 开 来 ， 成 为 一 种 发 现 软件 缺陷 的 活动 。 
由 于 一 直 存 在 着 为 了 使 我 们 看 到 产品 在 工作 ， 就 得 将 测试 工作 往 后 推 一 点 的 思想 ， 测 试 
仍然 是 后 于 开发 的 活动 。 在 潜意识 里 ， 我 们 的 目的 是 使 自己 确信 产品 能 工作 。 到 了 20 
世纪 70 年 代 ， 尽 管 对 “软件 工程 ”的 真正 含义 还 缺乏 共识 ， 但 这 一 词 条 已 经 频繁 出 现 。 
“1972 年 在 北 卡罗来纳 大 学 举行 了 首届 软件 测试 正式 会 议 ，1975 年 John Good Enough 和 
Susan Gerhart 在 IEEE 上 发 表 了 “测试 数据 选择 的 原理 (Toward a Theory of Test Data 
Selection)” 的 文章 , 软件 测试 才 被 确定 为 一 种 研究 方向 。 而 1979 年 ，Glen ford Myers 的 
《软件 测试 艺术 》(The Art of Software Testing) 可 算是 软件 测试 领域 的 第 一 本 最 重要 的 专 
兰 ，Myers 作为 当时 最 好 的 软件 测试 ， 其 定义 是 :“ 测 试 是 为 发 现 错误 而 执行 的 一 个 程序 
或 者 系统 的 过 程 ”。Myers 以 及 他 的 同事 们 在 20 世纪 70 年 代 的 工作 是 测试 过 程 发 展 的 里 
程 碑 。 

直到 20 世纪 80 年 代 早期 ,“ 质 量 “ 的 号 角 才 开始 吹 啊 。 软 件 测试 定义 发 生 了 改变 ， 
测试 不 单纯 是 一 个 发 现 错误 的 过 程 ， 而 且 包 含 软件 质量 评价 的 内 容 。 软 件 开 发 人 员 和 测 
试 人 员 开 始 坐 在 一 起 探讨 软件 工程 和 测试 问题 。 制定 了 各 类 标准 , 包括 IEEE (Institute of 
Electrical and Electronic Engineers ) 标准、 美国 ANSIC(American National Standard Instimute ) 
标准 以 及 ISO (Intemational Standard Organization ) 国际 标准 。1983 年 , Bil Hetzel 在 《 软 
件 测试 完全 指南 》(Complete Guide of Software Testing) 一 书 中 指出 :“ 测 试 是 以 评价 一 
个 程序 或 者 系统 属性 为 目标 的 任何 一 种 活动 ， 测 试 是 对 软件 质量 的 度量 ”"”。Myers 和 
Hetzel 的 定义 至 今 仍 被 引用 。 : | 
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20 世纪 90 年 代 ， 测 试 工具 终于 盛行 起 来 。 人 们 普遍 意识 到 工具 不 仅 是 有 用 的 ， 而 
且 要 对 今天 的 软件 系统 进行 充分 的 测试 , 工具 是 必 不 可 少 的 .到 了 2002 年 , Rick 和 Stefan 
在 《系统 的 软件 测试 》(Systematic Software Testing ) 一 书 中 对 软件 测试 做 了 进一步 定义 : 
“测试 是 为 了 度量 和 提高 被 测 软 件 的 质量 , 对 测试 软件 进行 工程 设计 、 实 施 和 维护 的 整个 
生命 周期 过 程 ”。 这 些 经 典 论 着 对 软件 测试 研究 的 理论 化 和 体系 化 产生 了 巨大 的 影响 。 

近 20 年 来 ， 随 着 计算 机 和 软件 技术 的 飞速 发 展 ， 软 件 测试 技术 研究 也 取得 了 很 大 
的 突破 ,测试 专家 总 结 了 很 好 的 测试 模型 ， 比 如 著名 的 V 模型 、W 模型 等 ， 在 测试 过 程 
改进 方面 提出 了 TMM (Testing Maturity Model) 的 概念 ， 在 单元 测试 、 自 动 化 测试 、 负 
载 压 力 测试 以 及 测试 管理 等 方面 涌现 了 大 量 优秀 的 软件 测试 工具 。 

虽然 软件 测试 技术 的 发 展 很 快 ， 但 是 其 发 展 速度 仍 落 后 于 软件 开发 技术 的 发 展 速 
度 ， 使 得 软件 测试 在 今天 面临 着 很 大 的 挑战 ， 主 要 体现 在 以 下 几 个 方面 。 

QD 软件 在 国防 现代 化 、 社 会 信息 化 和 国民 经 济 信 息 化 领域 中 的 作用 越 来 越 重 要 ， 
由 此 产生 的 测试 任务 越 来 越 繁重 。 

人 @ 软件 规模 越 来 越 大 ， 功 能 越 来 越 复杂 ， 如 何 进行 充分 而 有 效 的 测试 成 为 难题 。 

@ 面向 对 象 的 开发 技术 越 来 越 普及 ， 但 是 面向 对 象 的 测试 技术 却 刚刚 起 步 。 

@ 对 于 分 布 式 系统 整体 性 能 还 不 能 进行 很 好 的 测试 。 

对 于 实时 系统 来 说 ， 缺 乏 有 效 的 测试 手段 。 

随 着 安全 问题 的 日 益 突出 ， 信 息 系统 的 安全 性 如 何 进行 有 效 的 测试 与 评估 ， 成 
为 世界 性 的 难题 。 


1.2 国内 外 现状 


在 软件 比较 发 达 的 国家 ， 特 别 是 美国 ， 软 件 测试 已 经 发 展 成 为 一 个 独立 的 产业 ， 主 
要 体现 在 以 下 几 个 方面 。 

软件 测试 在 软件 公司 中 占有 重要 的 地 位 。 比 尔 。 盖 茨 曾 在 马萨诸塞 州 技术 学 院 
的 一 次 演讲 中 说 ,“ 在 微软 ， 一 个 典型 的 开发 项 目 组 中 测试 工程 师 要 比 编码 工程 师 多 得 
多 ， 可 以 说 我 们 花 资 在 测试 上 的 时 间 要 比 花 费 在 编码 上 的 时 间 多 得 多 ”。 

名 软件 测试 理论 研究 莲 勃 发 展 ， 每 年 举办 各 种 各 样 的 测试 技术 年 会 ， 发 表 了 大 量 
的 软件 测试 研究 论文 ， 引 领 软件 测试 理论 研究 的 国际 潮流 。 

@ 软件 测试 市 场 繁 荣 、 美 国有 一 些 专业 公司 开发 软件 测试 标准 与 测试 工具 ，MI、 
Compuware、MaCabe、Rational 等 都 是 著名 的 软件 测试 工具 提供 商 ， 它 们 出 品 的 测试 工 
具 已 经 占领 了 国际 市 场 ， 目 前 我 国 使 用 的 主流 测试 工具 大 部 分 是 国外 的 产品 ， 而 且 在 世 
界 各 地 都 可 以 看 到 它们 出 品 的 软件 测试 工具 ， 可 见 国外 的 软件 测试 已 经 形成 了 较 大 的 
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产业 。 z 
中 国 的 软件 测试 技术 研究 起 步 于 “六 五 ”期 间 ， 主 要 是 随 着 软件 工程 的 研究 而 逐步 
发 展 起 来 的 ， 由 于 起 步 较 晚 ， 与 国际 先进 水 平 相 比 差距 较 大 。 直 到 1990 年 , 成立 了 国家 
级 的 中 国 软件 评测 中 心 ， 测 试 服务 才 逐 步 开展 起 来 。 因 此 ， 我 国 无 论 是 在 软件 测试 理论 
研究 还 是 在 测试 实践 上 ， 和 国外 发 达 国家 都 有 不 少 的 差距 ， 主 要 体现 在 对 软件 产品 化 测 
试 的 技术 研究 还 比较 贫乏 ， 从 业 人 员 较 少 , 测试 服务 没有 形成 足够 的 规模 等 方面 。 但 是 ， 
随 着 我 国 软件 产业 的 莲 过 发 展 以 及 对 软件 质量 的 重视 ,软件 测试 也 越 来 越 被 人 们 所 看 重 ， 
软件 测试 正在 逐步 成 为 一 个 新 兴 的 产业 。 我 国正 在 迈 入 测试 时 代 ， 主 要 体现 在 以 下 几 个 
方面 。 

@ 我 国 著名 的 软件 公司 都 已 经 或 者 正在 建立 独立 的 专职 软件 测试 队伍 ， 虽 然 测试 
人 员 规 模 以 及 所 占 比 例 还 不 能 和 国外 的 大 公司 相 比 ， 但 是 毕竟 在 公司 内 部 贯彻 了 独立 测 
试 的 意识 。 

@ 国家 人 事 部 和 信息 产业 部 2003 年 关于 职业 资格 认证 第 一 次 在 我 国有 了 “软件 评 
测 师 ” 的 称号 ， 这 是 国家 对 软件 测试 职业 的 高 度 重视 与 认可 。 

@ 在 信息 产业 部 关于 计算 机 系统 集成 资质 以 及 信息 系统 工程 监理 资质 的 认证 中 ， 
软件 测试 能 力 已 经 被 定 为 评价 公司 技术 能 力 的 一 项 重要 指标 。 

@ 2001 年 信息 产业 部 发 布 的 部 长 5 号 令 ， 实 行 了 软件 产品 登记 认证 制度 ， 规 定 ， 
凡是 在 我 国境 内 销售 的 产品 必须 到 信息 产业 部 备案 登记 ， 而 且 要 经 过 登记 测试 。 

@@ 自 2001 年 起 ， 国 家 质 检 总 局 和 信息 产业 部 每 年 都 通过 测试 对 软件 产品 进行 质量 
监督 抽查 。 

@ 国家 各 部 委 ， 各 行业 正在 通过 测试 规范 行业 软件 的 健康 发 展 ， 通 过 测试 把 不 符 
合 行业 标准 要 求 的 软件 挡 在 了 门 外 ， 对 行业 信息 化 的 健康 发 展 起 到 了 很 好 的 促进 作用 。 

@ 用 户 对 软件 质量 要 求 越 来 越 高 ， 信 息 系 统 验收 不 再 走过场 ， 而 要 通过 第 三 方 测 
试 机 构 的 严格 测试 来 判定 。 

“以 测 代 评 ”正在 成 为 我 国 科 技 项 目 择优 支持 的 一 项 重要 举措 , 比如, 国家 “863” 
计划 对 数据 库 管理 系统 、 操 作 系 统 、 办 公 软 件 、ERP 等 项 目的 经 费 支持 ， 都 是 通过 第 三 
方 测试 机 构 科学 客观 的 测试 结果 来 决定 的 。 

@ 软件 测试 正在 成 为 部 分 软件 学 院 的 一 门 独立 课程 ， 对 我 国 软件 测试 人 才 的 培养 
起 到 了 很 好 的 作用 。 

第 三 方 测试 机 构 得 到 了 莲 勃 的 发 展 。 最 近 两 年 ， 在 全 国 各 地 ， 新 成 立 的 软件 测 
试 机 构 有 10 多 家 ， 测 试 服务 体系 已 经 基本 确立 。 

可 见 我 国 的 软件 测试 行业 正 处 于 一 个 快速 成 长 的 阶段 ， 我 们 有 理由 相信 ， 经 过 一 自 
时 间 的 发 展 ， 我 们 会 逐步 缩小 与 国外 发 达 国家 的 差距 ， 从 而 带动 整个 软件 产业 的 健康 
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1.3 ”软件 测试 与 软件 项 目的 关系 


软件 测试 是 为 软件 项 目 服务 的 ， 在 整个 项 目 组 中 ， 要 强调 测试 服务 的 概念 ， 虽 然 软 
件 测 试 的 目的 是 为 了 发 现 软 件 中 存在 的 错误 ， 但 是 ， 其 根本 目的 是 为 了 提高 软件 质量 ， 
降低 软件 项 目的 风险 。 软 件 的 质量 风险 表现 在 两 个 方面 ， 一 种 是 内 部 风险 ， 一 种 是 外 部 
风险 。 内 部 风险 是 在 即将 销售 的 时 候 发 现 有 重大 的 错误 ， 从 而 延迟 发 布 日 期 ， 失 去 市 场 
机 会 ; 外 部 风险 是 用 户 发 现 了 不 能 容忍 的 错误 ， 引 起 索赔 、 法 律 纠纷 ， 以 及 用 于 客户 支 
持 的 费用 甚至 失去 客户 的 风险 。 

软件 测试 只 能 证 明 软 件 存在 错误 ， 而 不 能 证 明 软 件 没有 错误 。 软 件 公司 对 软件 项 目 
的 期 望 是 在 预计 的 时 间 、 合 理 的 预算 下 ， 提 交 一 个 可 以 交付 的 产品 ， 测 试 的 目的 就 是 把 
软件 的 错误 控制 在 一 个 可 以 进行 产品 交付 /发 布 的 程度 上 ， 可 以 交付 /发 布 的 产品 并 不 是 
没有 错误 的 产品 ， 因 此 软件 测试 不 可 能 无 休止 地 进行 下 去 ， 而 是 要 把 错误 控制 在 一 个 合 
理 的 范围 之 内 ， 因 为 软件 测试 也 是 需要 花费 巨大 成 本 的 。 有 资料 表明 ， 波 音 777 整体 设 
计 费 用 的 25% 都 花 在 了 软件 的 MC/DC 修正 条 件 判定 类 盖 测试 ， 是 单元 白 盒 测试 的 一 
种 方法 ) 测试 上 了 ， 而 且 随 着 测试 时 间 的 延伸 ， 发 现 错误 的 成 本 会 越 来 越 大 ， 这 就 寅 要 
测试 有 度 ， 而 这 个 度 并 不 能 由 项 目 计 划 时 间 来 判断 ， 而 是 要 根据 测试 出 现 错误 的 概率 来 
判断 。 这 也 要 求 在 项 目 计 划 时 ， 要 给 测试 留 出 足够 的 时 间 和 和 经费， 仓促 的 测试 或 者 由 于 
项 目 提 交 计 划 的 压力 而 终止 测试 ， 只 能 对 整个 项 目 造成 无 法 估 重 的 损害 。 


1.4 软件 测试 的 发 展 趋势 


纵 观 国内 外 软件 测试 的 发 展现 状 ， 可 以 看 到 软件 测试 有 以 下 的 发 展 趋势 。 

J 测试 工作 将 进一步 前 移 。 软 件 测试 不 仅仅 是 单元 测试 、 集 成 测试 、 系 统 测试 和 
验收 测试 ， 对 需求 的 精确 性 和 完整 性 的 测试 技术 、 对 系统 设计 的 测试 技术 将 成 为 新 的 研 
究 热 把 。 

四 软件 架构 师 、 开 发 工程 师 、QA 人 员 、 测 试 工程 师 将 进行 更 好 的 融合 。 他 们 相互 
之 间 要 成 为 伙伴 关系 ， 而 不 是 相互 对 立 的 关系 ， 因 为 他 们 的 工作 可 以 相互 借鉴 ， 相 互 促 
进 ， 而 且 软 件 测试 工程 师 应 该 尽早 地 介入 整个 工程 ， 在 软件 定义 阶段 就 要 开发 相应 的 测 
试 方法 ， 使 得 每 一 个 需求 定义 都 是 可 以 测试 的 。 

@ 测试 职业 将 得 到 充分 的 尊重 。 测 试 工程 师 和 开发 工程 师 不 仅 是 矛盾 体 ， 也 是 相 
互 协调 的 统一 体 。 在 整个 软件 开发 周期 他 们 提供 的 是 一 种 至 关 重 要 的 服务 ， 人 们 将 充 
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分 认识 到 测试 的 价值 。 以 前 人 们 认为 “如 果 你 没有 能 力 做 开发 ， 那么 就 去 做 测试 ”， 而 现 
在 的 流行 观点 是 “只 有 高 水 平 的 开发 者 ， 才 能 胜任 测试 工作 ”。 

@ 设置 独立 的 软件 测试 部 门将 成 为 越 来 越 多 的 软件 公司 的 共识 。 软 件 测试 部 门将 
和 开发 部 、 质 量 保证 部 一 样 作为 一 个 重要 的 独立 部 门 存在 。 

图 测试 外 包 服 务 将 快速 增长 。 和 软件 开发 外 包 一 样 ， 软 件 测试 外 包 将 成 为 全 球 化 
的 一 种 趋势 ， 可 以 利用 职业 测试 专家 队伍 与 机 构 为 自己 的 产品 进行 测试 ， 而 且 可 以 节省 
测试 费用 。 


1.5 第 三 方 测试 


这 里 所 说 的 第 三 方 测试 是 指 独立 于 软件 公司 自身 测试 的 测试 。 所 谓 的 第 三 方 是 指 在 
软件 公司 和 软件 用 户 之 间 的 一 方 。 第 三 方 测试 机 构 也 是 一 个 中 介 的 服务 机 构 ， 它 通过 上 自 
己 专业 化 的 测试 手段 为 客户 提供 有 价值 的 服务 。 但 是 第 三 方 测试 机 构 提供 的 服务 不 同 于 
公司 内 部 的 测试 。 因 为 ， 第 三 方 测试 机 构 的 测试 除了 发 现 软件 问题 之 外 ， 还 有 对 软件 进 
行 科学 、 公 正 的 评价 的 职能 ， 这 就 要 求 第 三 方 测试 机 构 要 保持 公正 、 廉 洁 、 客 观 、 科 学 、 
独立 的 态度 。 

第 三 方 测试 机 构 存在 的 价值 主要 是 由 软件 公司 、 软 件 用 户 以 及 国家 的 公正 诉求 所 决 
定 的 。 对 于 软件 开发 商 来 说 ， 经 过 第 三 方 测 试 机 构 的 测试 ， 不 仅 可 以 通过 专业 化 的 测试 
手段 发 现 软件 错误 ， 关 助 开 发 商 提 升 软件 的 品质 ， 而 且 可 以 对 软件 有 一 个 客观 、 科 学 的 
评价 ， 有 助 于 开发 商 认 消 自己 产品 的 定位 。 对 于 行业 主管 部 门 以 及 软件 使 用 者 来 说 ， 第 
三 方 测 试 机 构 独立 公正 的 地 位 有 助 于 对 被 测 软件 进 行 客 观 公正 的 评价 ， 帮 助 用 户 选择 合 
适 、 优 秀 的 软件 产品 。 而 对 于 一 些 信息 工程 项 目 来 说 ， 在 验收 之 前 ， 经 过 第 三 方 机 构 的 
严格 测试 ， 可 以 最 大 程度 地 避免 信息 行业 的 “豆腐 渣 ” 工 程 。 此 外 ， 经 过 国家 认可 的 第 
三 方 测试 机 构 ， 还 为 国家 软件 产品 的 质量 监督 抽查 提供 独立 公正 的 测试 支持 。 

由 此 可 见 ， 第 三 方 测试 机 构 的 测试 工程 师 面 对 的 是 各 种 各 样 的 系统 ， 而 且 大 多 与 具 
体 的 业务 相关 ， 这 就 要 求 他 们 不 仅 有 宽广 深厚 的 软件 技术 功底 、 测 试 技术 功底 ， 而 且 需 
要 积累 行业 知识 和 经 验 ， 并 且 要 融会 贯通 。 目 前， 我 国 涌现 了 很 多 的 第 三 方 测试 机 构 ， 
虽然 它们 处 于 不 同 的 发 展 阶段 ， 但 是 它们 的 存在 必 将 对 我 国 整个 软件 产业 的 健康 发 展 起 
到 巨大 的 促进 作用 。 
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2.1 软件 测试 与 软件 质量 
2.1.1 什么 是 软件 测试 


测试 (test) 最 早出 于 古 拉丁 字 ， 它 有 “ 饶 ” 或 “容器 ”的 含义 。 在 工业 制造 和 生产 
中 ， 测 试 被 当 作 一 个 常规 的 检验 产品 质量 的 生产 活动 。 测 试 的 含义 为 “以 检验 产品 是 否 
满足 需求 为 目标 ”。 而 软件 测试 活动 包括 了 很 重要 的 任务 ， 即 发 现 错误 。 

“软件 测试 ”的 经 典 定义 是 在 规定 条 件 下 对 程序 进行 操作 ， 以 发 现 错误 ， 对 软件 质 
量 进行 评估 。 

我 们 知道 ， 软 件 是 由 文档 、 数 据 以 及 程序 组 成 的 ， 那 么 软件 测试 就 应 该 是 对 软件 形 
成 过 程 的 文档 、 数 据 以 及 程序 进行 的 测试 ， 而 不 仅仅 是 对 程序 进行 的 测试 。 

随 着 人 们 对 软件 工程 化 的 重视 以 及 软件 规模 的 日 益 扩 大 ， 软 件 分 析 、 设 计 的 作用 越 
来 越 突出 ， 而 且 有 资料 表明 ，60% 以 上 的 软件 错误 并 不 是 程序 错误 ， 而 是 分 析 和 设计 错 
误 。 因 此 ， 做 好 软件 需求 和 设计 阶段 的 测试 工作 就 显得 非常 重要 。 这 就 是 我 们 提倡 的 测 
试 概念 扩大 化 ， 提 倡 软件 全 生命 周期 测试 的 理念 。 


2.1.2 ”什么 是 软件 质量 


在 1991 年 软件 产品 质量 评价 国际 标准 ISO 9126 中 定义 的 “软件 质量 ”是 : 软件 满 
足 规定 或 潜在 用 户 需 求 特性 的 总 和 。 到 1999 和 年， 软件“ 产品 评价 ”国际 标准 ISO 14598 
经 典 的 “软件 质量 ”定义 是 ， 软 件 特性 的 总 和 ， 软 件 满足 规定 或 潜在 用 户 需 求 的 能 力 。 

一 般 对 “质量 ”的 理解 是 一 个 实体 的 “属性 ”,“ 届 性 ”好 就 是 质量 好 的 。 但 是 这 不 
够 全 面 ,“ 属 性 ”是 内 在 特性 ， 内 在 特性 好 ， 不 一 定 能 胜任 和 完成 好 用 户 的 任务 。 因 此 ， 
软件 质量 也 是 关于 软件 特性 具备 “能 力 ” 的 体现 。 

2001 年 ， 软 件 “ 产 品质 量 ” 国 际 标准 ISO 9126 定义 的 软件 质量 包括 “内 部 质量 ”、 
“外 部 质量 ” 和 “使 用 质量 ”三 部 分 。 也 就 是 说 ,“ 软 件 满足 规定 或 潜在 用 户 需 求 的 能 力 ” 
要 从 软件 在 内 部 、 外 部 和 使 用 中 的 表现 来 衡量 。 
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2.1.3 ”软件 测试 与 质量 保证 的 区 别 


软件 测试 人 员 的 一 项 重要 任务 是 提高 软件 质量 ， 但 不 等 于 说 软件 测试 人 员 就 是 软件 
质量 保证 人 员 ， 因 为 测试 只 是 质量 保证 工作 中 的 一 个 环节 。 软件 质量 保证 和 软件 测试 是 
软件 质量 工程 的 两 个 不 同 层面 的 工作 。 
。 质量 保证 (QA): 质量 保证 的 重要 工作 通过 预防 、 检 查 与 改进 来 保证 软件 质量 。 
QA 采用 “全 面 质量 管理 ”和 “过 程 改 进 ” 的 原理 开展 质量 保证 工作 。 所 关注 的 
是 软件 质量 的 检查 与 测量 。 虽 然 在 QA 的 活动 中 也 有 一 些 测试 活动 ， 但 所 关注 
的 是 软件 质量 的 检查 与 测量 ,QA 的 工作 是 软件 生命 周期 的 管理 以 及 验证 软件 是 
和 否 满足 规定 的 质量 和 用 户 的 需求 ， 因 此 主要 着 眼 于 软件 开发 活动 中 的 过 程 、 步 
又 和 产物 ， 而 不 是 对 软件 进行 剖析 找 出 问题 或 评 佑 。 
e。 软件 测试 ， 测试 虽然 也 与 开发 过 程 紧密 相关 ， 但 关心 的 不 是 过 程 的 活动 ， 而 是 
对 过 程 的 产物 以 及 开发 出 的 软件 进行 剖析 。 测 试 人 员 要 “执行 ”软件 ， 对 过 程 
中 的 产物 一 一 开发 文档 和 源 代 码 进行 走 查 ， 运 行 软件 ， 以 找 出 问题 ， 报 告 质量 。 
测试 人 员 必 须 假设 软件 存在 潜在 的 问题 ， 测 试 中 所 作 的 操作 是 为 了 找 出 更 多 的 
问题 ， 而 不 仅仅 是 为 了 验证 每 一 件 事 是 正确 的 。 对 测试 中 发 现 的 问题 的 分 析 、 
追踪 与 回归 测试 也 是 软件 测试 中 的 重要 工作 ， 因此 软件 测试 是 保证 软件 质量 的 
一 个 重要 环节 。 


2.2 ”软件 测试 目的 


早期 的 软件 定义 指出 软件 测试 的 目的 是 寻找 错误 ， 并 且 尽 最 大 的 可 能 找 出 最 多 的 
错误 。 
Grenford J. Myers 就 软件 测试 目的 提出 了 以 下 观点 。 

。 测试 是 程序 的 执行 过 程 ， 目 的 在 于 发 现 错误 ; 

。 一 个 好 的 测试 用 例 在 于 能 发 现 至 今 未 发 现 的 错误 ; 

。 一 个 成 功 的 测试 是 发 现 了 至 今 未 发 现 的 错误 的 测试 。 

Bill Hetzel 提出 了 测试 目的 不 仅仅 是 为 了 发 现 软件 缺陷 与 错误 ， 而 且 也 是 对 软件 质 
量 进行 度量 和 评估 ， 以 提 商 软件 的 质量 。 

测试 的 目的 ， 是 想 以 最 少 的 人 力 、 物 力 和 时 间 找 出 软件 中 潜在 的 各 种 错误 和 缺陷 ， 
通过 修正 各 种 错误 和 缺陷 提高 软件 质量 ， 回 避 软 件 发 布 后 由 于 潜在 的 软件 缺陷 和 错误 造 
成 的 隐患 所 带 来 的 商业 风险 。 

同时 ， 测 试 是 以 评价 一 个 程序 或 者 系统 属性 为 目标 的 活动 ， 测 试 是 对 软件 质量 的 度 
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草 与 评 佑 ， 以 验证 软件 的 质量 满足 用 户 的 需求 的 程度 ， 为 用 户 选 择 与 接受 软件 提供 有 力 
的 依据 。 

此 外 ， 通 过 分 析 错 误 产 生 的 原因 还 可 以 帮助 发 现 当 前 开发 工作 所 采用 的 软件 过 程 的 
缺陷 ， 以 便 进行 软件 过 程 改 进 。 同 时 ， 通 过 对 测试 结果 的 分 析 整 理 ， 还 可 以 修正 软件 开 
发 规则 ， 并 为 软件 可 靠 性 分 析 提 供 依据 。 

当然 ， 通 过 最 终 的 验收 测试 ， 也 可 以 证 明 软 件 满足 了 用 户 的 需求 ， 树 立 人 们 使 用 软 
件 的 信心 。 


2.3 ”软件 测试 原则 


基于 册 试 是 为 了 寻找 软件 的 钳 误 与 缺陷 , .评估 与 提高 软件 质量 ， 我 们 提出 这 样 的 一 
组 测试 原则 ， 如 下 所 示 。 

。 所 有 的 软件 测试 都 应 追溯 到 用 户 和 需求 。 

这 是 因为 软件 的 目的 是 使 用 户 完成 预定 的 任务 ， 并 满足 用 户 的 需求 ， 而 软件 测试 所 
揭示 的 缺陷 和 错误 使 软件 达 不 到 用 户 的 目标 ， 满 足 不 了 用 户 需 求 。 

。 应 当 把 “尽早 地 和 不 断 地 进行 软件 测试 ”作为 软件 测试 者 的 座右铭 。 

由 于 软件 的 复杂 性 和 抽象 性 ， 在 软件 生命 周期 各 个 阶段 都 可 能 产生 错误 ， 所 以 不 应 
把 软件 测试 仅仅 看 作 是 软件 开发 的 一 个 独立 阶段 的 工作 ， 而 应 当 把 它 贯 穿 到 软件 开发 的 
各 个 阶段 中 。 在 软件 开发 的 需求 分 析 和 设计 阶段 就 应 开始 测试 工作 ， 编 写 相 应 的 测试 文 
档 。 同 时 ， 坚 持 在 软件 开发 的 各 个 阶段 进行 技术 评审 与 验证 ， 这 样 才能 在 开发 过 程 中 尽 
早 发 现 和 预防 错误 ， 杜 绝 某 些 缺 陷 和 隐患 ， 提 山 软 件 质 量 。 只 要 测试 在 生命 周期 中 进行 
得 足够 早 ， 就 能 够 提 商 被 测 软件 的 质量 ， 这 就 是 预防 性 测试 的 基本 原则 。 

e。 完全 测试 是 不 可 能 的 ， 测 试 震 要 终止 。 

想 要 进行 完全 的 测试 ， 在 有 限 的 时 间 和 资源 条 件 下 ， 找 出 所 有 的 软件 缺陷 和 错误 ， 
使 软件 趋 于 完美 ， 是 不 可 能 的 。 主 要 有 三 个 原因 : 

Q 输入 量 太 大 : 

包 输出 结果 太 多 ; 

图 路 径 组 合 太 多 。 

一 个 适度 规模 的 程序 ， 其 路 径 组 合 近似 天 文 数 字 ， 对 于 每 一 种 可 能 的 路 径 都 执行 一 
次 的 穷 举 测试 是 不 可 能 的 。 此 外 ， 测 试 也 是 有 成 本 的 ， 越 是 测试 后 期 ， 为 发 现 错误 所 付 
出 的 代价 就 会 越 大 ， 因 此 也 要 根据 测试 错误 的 概率 以 及 软件 可 靠 性 要 求 ， 确 定 最 佳 停止 
测试 时 间 ， 我 们 不 能 无 限 地 测试 下 去 。 

。 测试 无 法 显示 软件 潜在 的 缺陷 。 
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进行 测试 是 可 以 查找 并 报告 发 现 的 软件 缺陷 和 错误 ， 但 不 能 保证 软件 的 缺陷 和 错误 
全 部 找到 ， 继 续 进一步 测试 可 能 还 会 找到 一 些 ， 也 就 是 说 测试 只 能 证 明 软 件 存在 错误 而 
不 能 证 明 软 件 没 有 错误 。 

。 ”充分 注意 测试 中 的 群集 现象 。 

经 验 表 明 ， 测 试 后 程序 中 残存 的 错误 数目 与 该 程序 中 已 发 现 的 错误 数 上 或 检 错 率 成 
正比 。 根据 这 个 规律 , 应 当 对 错误 群集 的 程序 段 进 行 重点 测试 ， 以 提高 测试 投资 的 效益 。 

在 所 测 程序 段 中 ， 若 发 现 错误 数目 多 ， 则 残存 错误 数目 也 比较 多 。 这 种 错误 群集 性 
现象 , 已 为 许多 程序 的 测试 实践 所 证 实 。 例 如 ,在 美国 IBM 公司 的 OS/370 操作 系统 中 ， 
47% 的 错误 仅 与 该 系统 的 4% 的 程序 模块 有 关 。 这 种 现象 对 测试 很 有 用 。 如果 发 现 某 一 程 
序 模块 似乎 比 其 他 程序 模块 有 更 多 的 错误 倾向 ， 则 应 当 花 费 较 多 的 时 间 和 代价 测试 这 个 
程序 模块 。 

。 程序 员 应 避免 检查 自己 的 程序 。 

基于 心理 因素 ， 人 们 认为 揭露 自己 程序 中 的 问题 总 不 是 一 件 愉快 的 事 ， 不 愿 否认 目 
己 的 工作 ; 由 于 思维 定 势 ， 人 们 难于 发 现 自己 的 错误 。 因 此 ， 为 达到 测试 目的 ， 应 由 客 
观 、 公 正 、 严 格 的 独立 的 测试 部 门 或 者 独立 的 第 三 方 测试 机 构 进行 测试 。 

。 尽量 避免 测试 的 随意 性 。 

应 该 从 工程 的 角度 去 理解 软件 测试 ， 它 是 有 组 织 、 有 计划 、 有 步骤 的 活动 。 


2.4 软件 测试 对 象 


根据 软件 定义 ， 软 件 包 括 程序 、 数 据 和 文档 ， 所 以 软件 测试 并 不 仅仅 是 程序 测试 。 
软件 测试 应 贯穿 于 整个 软件 生命 周期 中 。 在 整个 软件 生命 周期 中 ， 各 阶段 有 不 同 的 测试 
对 象 ， 形 成 了 不 同 开发 阶段 的 不 同类 型 的 测试 。 需 求 分析 、 概 要 设计 、 详 细 设 计 以 及 程 
序 编码 等 各 阶段 所 得 到 的 文档 ， 包 括 需 求 规格 说 明 、 概 要 设计 规格 说 明 、 详 细 设 计 规 格 
说 明 以 及 源 程 序 ， 都 应 成 为 “软件 测试 ”的 对 象 。 在 软件 编码 结束 后 ， 对 编写 的 每 一 个 
程序 模块 进行 测试 ， 称 为 “模块 测试 ”或 “单元 测试 ”， 在 模块 集成 后 ， 对 集成 在 一 起 的 
模块 组 件 ， 有 时 也 可 称 为 “部 件 ”， 进 行 测试 ， 称 为 “集成 测试 ”在 集成 测试 后 ， 需 要 
检测 与 证 实 软件 是 否 满足 软件 需求 说 明 书 中 规定 的 要 求 ， 这 就 称 为 “确认 测试 ”将 整个 
程序 模块 集成 为 软件 系统 ， 安 装 在 运行 环境 下 ， 对 硬件 、 网 络 、 操作 系统 及 支撑 平台 构 
成 的 整体 系统 进行 测试 ， 称 为 “系统 测试 ”。 

由 于 软件 分 析 、 设 计 与 开发 各 阶段 是 互相 衔接 的 ， 前 一 阶段 工作 中 发 生 的 问题 如 未 
及 时 解决 ， 很 自然 要 影响 到 下 一 阶段 。 从 源 程序 的 测试 中 找到 的 程序 错误 不 一 定 都 是 在 
程序 编写 过 程 中 产生 的 。 如 果 简 单 地 把 程序 中 的 错误 全 都 归罪 于 程序 员 ， 未 免 冤 枉 了 他 
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们 。 据 美国 一 家 公司 的 统计 表明 ， 在 查找 出 的 软件 错误 中 ， 属 于 需求 分 析 和 软件 设计 的 
错误 约 占 64%， 属 于 程序 编写 的 错误 仅 占 36%。 这 都 说 明 ， 对 程序 编写 而 言 ， 它 的 许多 
错误 是 “先天 的 ”。 事 实 上 ， 到 程序 的 测试 为 止 ， 软 件 开发 工作 已 经 经 历 了 许多 环节 ， 每 
个 环节 都 可 能 发 生 问题 。 

为 了 把 握 各 个 环节 的 正确 性 ， 人 们 需要 进行 各 种 验证 和 确认 (verification && 
validation) 工作 。 

验证 〈verification) 是 保证 软件 正确 实现 特定 功能 的 一 系列 活动 和 过 程 ， 目 的 是 保 
证 软件 生命 周期 中 的 每 一 个 阶段 的 成 果 满 足 上 一 个 阶段 所 设 定 的 目标 。 

确认 《validation) 是 保证 软件 满足 用 户 需 求 的 一 系列 的 活动 和 过 程 ， 目 的 是 在 软件 
开发 完成 后 保证 软件 与 用 户 衔 求 相符 合 。 

验证 与 确认 都 属于 软件 测试 ， 它 包括 对 软件 分 析 、 设 计 以 及 程序 的 验证 和 确认 。 


2.5 ”软件 测试 分 类 


按照 全 生命 周期 的 软件 测试 概念 ， 测 试 对 象 应 该 包括 软件 设计 开发 的 各 个 阶段 的 内 
容 ， 对 于 需求 和 设计 阶段 的 测试 以 及 关于 文档 的 测试 将 在 面向 对 象 与 文档 测试 部 分 进行 
描述 ， 这 里 重点 讲述 开发 阶段 的 测试 和 程序 测试 。 


2.5.1 按照 开发 阶段 划分 


按照 开发 阶段 划分 软件 测试 可 分 为 ; 单元 测试 、 集 成 测试 、 系 统 测试 、 确 认 测 试 和 
验收 测试 。 

e 单元 测试 。 

单元 测试 又 称 模块 测试 ， 是 针对 软件 设计 的 最 小 单位 一 一 程序 模块 进行 正确 性 检验 
的 测试 工作 。 其 目的 在 于 检查 每 个 程序 单元 能 否 正确 实现 详细 设计 说 明 中 的 模块 功能 、 
性 能 、 接 口 和 设计 约束 等 要 求 ， 发 现 各 模块 内 部 可 能 存在 的 各 种 错误 。 单 元 测试 衡 要 从 
程序 的 内 部 结构 出 发 设计 测试 用 例 。 多 个 模块 可 以 平行 地 独立 进行 单元 测试 。 

e。 集成 测试 。 

集成 测试 也 叫做 组 装 测试 。 通 常 在 单元 测试 的 基础 上 ， 将 所 有 的 程序 模块 进行 有 序 
的 、 递 增 的 测试 。 集 成 测试 是 检验 程序 单元 或 部 件 的 接口 关系 ， 逐 步 集成 为 符合 概要 设 
计 要 求 的 程序 部 件 或 整个 系统 。 

软件 集成 的 过 程 是 一 个 持续 的 过 程 , 会 形成 很 多 个 临时 版 本 , 在 不 断 的 集成 过 程 中 ， 
功能 集成 的 稳定 性 是 真正 的 挑战 。 在 每 个 版 本 提交 时 ， 都 需要 进行 冒 烟 测 试 ， 即 对 程序 
主要 功能 进行 验证 。 冒 烟 测 试 也 叫 版 本 验证 测试 、 提 交 测 试 。 
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。 确认 测试 。 

确认 测试 是 通过 检验 和 提供 客观 证 据 ， 证 实 软 件 是 否 满足 特定 预期 用 途 的 需求 。 确 
认 测 试 是 检测 与 证 实 软件 是 否 满足 软件 需求 说 明 书 中 规定 的 要 求 。 

。 系统 测试 。 z 

系统 测试 是 为 验证 和 确认 系统 是 否 达到 其 原始 目标 ， 而 对 集成 的 硬件 和 软件 系统 进 
行 的 测试 。 系 统 测试 是 在 真实 或 模拟 系统 运行 的 环境 下 ， 检 查 完整 的 程序 系统 能 否 和 系 
统 (包括 硬件 、 外 设 、 网 络 和 系统 软件 、 支 持平 台 等 ) 正确 配置 、 连 接 ， 并 满足 用 户 需 求 。 

。 验收 测试 。 

按照 项 目 任务 书 或 合同 、 供 需 双 方 约定 的 验收 依据 文档 进行 的 对 整个 系统 的 测试 与 
评审 ， 决 定 是 否 接收 或 拒 收 系统 。 


2.5.2 ”按照 测试 实施 组 织 划 分 


按照 测试 实施 组 织 划分 ， 软 件 测试 可 分 为 开发 方 测试 、 用 户 测试 〈B 测试 )、 第 三 方 
测试 。 

。 开发 方 测试 。 

通常 也 叫 “ 验 证 测试 ”或 “a 测试 ” 开发 方 通过 检测 和 提供 客观 证 据 ， 证 实 软件 的 
实现 是 否 满足 规定 的 需求 。 验 证 测试 是 在 软件 开发 环境 下 ， 由 开发 者 检测 与 证 实 软 件 的 
实现 是 否 满足 软件 设计 说 明 或 软件 需求 说 明 的 要 求 。 主 要 是 指 在 软件 开发 完成 以 后 ,, 开 
发 方 对 要 提交 的 软件 进行 全 面 的 自我 检查 与 验证 , 可 以 和 软件 的 “系统 测试 ”一 并 进行 。 

。 用 户 测 试 。 

在 用 户 的 应 用 环境 下 ， 用 户 通 过 运行 和 使 用 软件 ， 检 测 与 核实 软件 实现 是 否 符合 自 
己 预期 的 要 求 。 通 常情 况 用 户 测试 不 是 指 用 户 的 “验收 测试 ”而 是 指 用 户 的 使 用 性 测试 ， 
由 用 户 找 出 软件 的 应 用 过 程 中 发 现 的 软件 的 缺陷 与 问题 ， 并 对 使 用 质量 进行 评价 。 

$ 测试 通常 被 看 成 是 一 种 “用 户 测试 ?>。B 测试 主要 是 把 软件 产品 有 计划 地 免费 分 发 
到 目标 市 场 ， 让 用 户 大 量 使 用 ， 并 评价 、 检 查 软件 。 通 过 用 户 各 种 方式 的 大 量 使 用 ， 来 
发 现 软件 存在 的 问题 与 错误 ， 把 信息 反馈 给 开发 者 修改 。B 测试 中 厂商 获取 的 信息 ， 可 
以 有 助 于 软件 产品 的 成 功 发 布 。 

。 第 三 方 测试 。 

介 于 软件 开发 方 和 用 户 方 之 间 的 测试 组 织 的 测试 。 第 三 方 测试 也 称 为 独立 测试 。 软 
件 质 量 工程 强调 开展 独立 验证 和 确认 (IV&V) 活动 。IV&V 是 由 在 技术 、 管 理 和 财务 上 
与 开发 组 织 具 有 规定 程度 独立 的 组 织 执行 验证 和 确认 过 程 。 软 件 第 三 方 测试 也 就 是 由 在 
技术 、 管 理 和 财务 上 与 开发 方 和 用 户 方 相对 独立 的 组 织 进行 的 软件 测试 。 一 般 情 况 下 是 
在 模拟 用 户 真实 应 用 环境 下 ， 进 行 软件 确认 测试 。 z 
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2.5.3 ”按照 测试 技术 划分 


按照 测试 技术 划分 ， 白 盒 测试 、 黑 盒 测试 、 灰 盒 测 试 。 也 可 划分 为 浪 态 测试 和 动态 
测试 。 浪 态 测 试 是 指 不 运行 程序 ， 首 过 人 工 对 程序 和 文档 进行 分 析 与 检查 ， 滔 态 测试 技 
术 又 称 为 静态 分 析 技 术 ， 静 态 测试 实际 上 是 对 软件 中 的 需求 说 明 书 、 设 计 说 明 书 、 程 序 
源 代码 等 进行 非 运行 的 检查 ， 静 态 测试 包括 : 走 查 、 符 号 执行 、 需 求 确认 等 。 动 态 测试 
是 指 通 过 人 工 或 使 用 工具 运行 程序 进行 检查 、 分 析 程 序 的 执行 状态 和 程序 的 外 部 表现 。 
我 们 这 里 讨论 的 白 盒 测试 、 黑 盒 测试 、 灰 盒 测试 ， 在 实现 测试 方法 上 既 包 括 了 动态 测试 
也 包括 了 葬 态 测试 。 

。 白 盒 测试 

通过 对 程序 内 部 结构 的 分 析 、 检 测 来 寻找 问题 。 白 盒 测试 可 以 把 程序 看 成 装 在 一 个 
透明 的 白 盒 子 里 ， 也 就 是 清楚 了 解 程序 结构 和 处 理 过 程 ， 检 查 是 否 所 有 的 结构 及 路 径 都 
是 正确 的 ， 检 查 软 件 内 部 动作 是 否 按照 设计 说 明 的 规定 正常 进行 。 白 盒 测 试 又 称 结构 
测试 。 

e。 黑 盒 测试 

通过 软件 的 外 部 表现 来 发 现 其 缺陷 和 错误 。 黑 盒 测 试 法 把 测试 对 象 看 成 一 个 黑 盒 
子 ， 完 全 不 考虑 程序 内 部 结构 和 处 理 过 程 。 黑 盒 测 试 是 在 程序 界面 处 进行 测试 ， 它 只 是 
检查 样 序 是 否 按照 需求 规格 说 明 书 的 规定 正常 实现 。 

e。 灰 盒 测试 

介 于 白 盒 测 试 与 黑 盒 测试 之 间 的 测试 。 灰 盒 测试 关注 输出 对 于 答 入 的 正确 性 ; 同时 
也 关注 内 部 表现 ， 但 这 种 关注 不 像 白 盒 测 试 那 样 详细 、 完 整 ， 只 是 道 过 一 些 表 征 性 的 现 
象 、 事 件 、 标 志 来 判断 内 部 的 运行 状态 。 | 

灰 盒 测试 结合 了 白 盒 测 试 和 黑 盒 测试 的 要 素 。 它 考虑 了 用 户 端 、 特 定 的 系统 知识 和 
操作 环境 。 它 在 系统 组 件 的 协同 性 环境 中 评价 应 用 软件 的 设计 。 

软件 测试 方法 和 技术 的 分 类 与 软件 开发 过 程 相关 联 ， 它 贯穿 了 整个 软件 生命 周期 。 
走 查 、 单 元 测试 、 集 成 测试 、 系 统 测试 用 于 整个 开发 过 程 中 的 不 同 阶段 。 开 发 文档 和 源 
程序 可 以 应 用 单元 测试 应 用 走 查 的 方法 ， 单 元 测试 可 应 用 白 盒 测试 方法 ;集成 测试 应 用 
近似 灰 盒 测试 方法 ， 而 系统 测试 和 确认 测试 应 用 黑 盒 测试 方法 。 


2.6 ”软件 测试 过 程 模 型 


在 软件 开发 几 十 年 的 实践 过 程 中 ， 人 们 总 结 了 很 多 的 开发 模型 ， 比 如 瀑布 模型 、 原 
型 模型 、 螺 旋 模 型 、 增 重 模型 、 渐 进 模型 、 快 速 软件 开发 RAD) 以 及 酸 近 比较 流行 的 
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Rational 统一 过 程 RUP) 等 ， 这 些 模型 对 于 软件 开发 过 程 上 共有 很 好 的 指导 作用 ， 但 是 ， 
非常 遗憾 的 是 ， 在 这 些 过 程 方法 中 ,. 并 没有 充分 强调 测试 的 价值 ， 也 没有 给 测试 以 足够 
的 重视 ， 利 用 这 些 模型 无 法 更 好 地 指导 测试 实践 。 软 件 测试 是 与 软件 开发 紧密 相关 的 一 
系列 有 计划 的 系统 性 的 活动 ， 显 然 软件 测试 也 需要 测试 模型 去 指导 实践 ， 非 常 可 喜 的 是 
软件 测试 专家 通过 测试 实践 总 结 出 了 很 多 很 好 的 测试 模型 。 当 然 由 于 测试 与 开发 的 结合 
非常 紧密 ， 在 这 些 测试 模型 中 也 都 把 开发 过 程 进行 了 很 好 的 总 结 ， 体 现 了 测试 与 开发 的 
了 融合， 下面 对 主要 的 模型 做 一 简单 的 介绍 。 


2.6.1 VV 模型 


V 模型 是 最 具有 代表 意义 的 测试 模型 ， 如 图 2-1 所 示 。YV 模型 最 早 是 由 Paul Rook 
”在 20 世纪 80 年 代 后 期 提出 的 ，V 模型 在 英国 国家 计算 中 心 文献 中 发 布 ， 旨 在 改进 软件 
开发 的 效率 和 效果 。 

在 传统 的 开发 模型 中 ， 比 如 瀑布 模型 ， 人 们 通常 把 测试 过 程 作为 在 需求 分 析 、 概 要 
设计 、 详 细 设 计 和 编码 全 部 完成 之 后 的 一 个 阶段 ， 尽 管 有 时 测试 工作 会 占用 整个 项 目 周 
期 一 半 的 时 间 ， 但 是 有 人 仍然 认为 测试 只 是 一 个 收尾 工作 ， 而 不 是 主要 的 过 程 。V 模型 
的 推出 就 是 对 此 种 认识 的 改进 。V 模型 是 软件 开发 瀑布 模型 的 变种 ， 它 反映 了 测试 活动 
与 分 析 和 设计 的 关系 ， 从 左 到 右 ， 描 述 了 基本 的 开发 过 程 和 测试 行为 ， 非 常 明确 地 标明 
了 测试 过 程 中 存在 的 不 同 级 别 ， 并 且 清 楚 地 描述 了 这 些 测试 阶段 和 开发 过 程 期 间 各 阶段 
的 对 应 关系 ， 如 模型 图 (图 2-1) 中 所 示 ， 图 中 的 箭头 代表 了 时 间 方 向 ， 左 边 下 降 的 是 
开发 过 程 各 阶段 ， 与 此 相对 应 的 是 右边 上 升 的 部 分 ， 即 各 测试 过 程 的 各 个 阶段 。 


知 求 分 析 
与 系统 设计 


图 2-1 软件 测试 V 模型 
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V 模型 的 软件 测试 策略 既 包 括 低层 测试 又 包括 了 高 层 测试 ， 低 层 测 试 是 为 了 源 代码 
的 正确 性 ， 高 层 测试 是 为 了 使 整个 系统 满足 用 户 的 需求 。 ; 

V 模型 指出 ， 单 元 和 集成 测试 是 验证 的 程序 设计 ， 开 发 人 员 和 测试 组 应 检测 程序 的 
执行 是 否 满 足 软 件 设计 的 要 求 ; 系统 测试 应 当 验 证 系统 设计 ， 检 测 系 统 功能 、 性 能 的 质 
量 特 性 是 否 达 到 系统 设计 的 指标 ; 由 测试 人 员 和 用 户 进 行 软件 的 确认 测试 和 验收 测试 ， 
追溯 软件 需求 说 明 书 进行 测试 ， 以 确定 软件 的 实现 是 否 满足 用 户 需 求 或 合同 的 要 求 。 

V 模型 存在 一 定 的 局 限 性 ， 它 仅仅 把 测试 过 程 作为 在 需求 分 析 、 概 要 设计 、 详 细 设 
计 及 编码 之 后 的 一 个 阶段 。 容 易 使 人 理解 为 测试 是 软件 开发 的 最 后 的 一 个 阶段 ， 主 要 是 针 
对 程序 进行 测试 寻找 错误 ， 而 需求 分 析 阶 段 隐藏 的 问题 一 直到 后 期 的 验收 测试 才 被 发 现 。 


2.6.2 ”WW 模型 


1。W 模型 建立 

V 模型 的 局 限 性 在 于 没有 明确 地 说 明 早 期 的 测试 ， 不 能 体现 “尽早 地 和 不 断 地 进行 
软件 测试 ”的 原则 。 在 V 模型 中 增加 软件 各 开发 阶段 应 同步 进行 的 测试 ， 被 演化 为 一 种 
W 模型 ， 因 为 实际 上 开发 是 “V”， 测 试 也 是 与 此 相 并 行 的 “V”。 基 于 “尽早 地 和 不 
断 地 进行 软件 测试 ”的 原则 ， 在 软件 的 需求 和 设计 阶段 的 测试 活动 应 遵循 IEEE std 
1012-1998 《软件 验证 和 确认 《V&V)》 的 原则 。 

一 个 基于 V&V 原理 的 W 模型 示意 图 如 图 2-2 所 示 。 


用 户 需 求 用 户 需 求 V&V | 


— 验收 测试 设计 
需求 分 析 
与 系统 设计 


铂 求 分 析 与 系统 设计 V&V 


| 确认 与 系统 测试 设计 | 
集成 测试 设计 集成 测试 
单元 测试 设计 


图 2-2 软件 测试 W 模型 
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2，W 模型 应 用 

W 模型 由 Evolutif 公司 提出 ， 相 对 于 V 模型 ，W 模型 更 科学 。W 模型 可 以 说 是 V 
模型 自然 而 然 的 发 展 。 它 强调 :测试 伴随 着 整个 软件 开发 周期 ， 而 且 测 试 的 对 象 不 仅仅 
是 程序 ， 需 求 、 功 能 和 设计 同样 要 测试 。 这 样 ， 只 要 相应 的 开发 活动 完成 ， 我 们 就 可 以 
开始 执行 测试 ， 可 以 说 ， 测 试 与 开发 是 同步 进行 的 ， 从 而 有 利于 尽早 地 发 现 问题 。 以 需 
求 为 例 ， 需 求 分 析 一 完成 ， 我 们 就 可 以 对 需求 进行 测试 ， 而 不 是 等 到 最 后 才 进 行 针 对 需 
求 的 验收 测试 。 

如 果 测 试 文档 能 尽早 提交 ， 那 么 就 有 了 更 多 的 检查 和 检阅 的 时 间 ， 这 些 文档 还 可 用 
于 评估 开发 文档 。 另 外 还 有 一 个 很 大 的 益处 是 ， 测 试 者 可 以 在 项 目 中 尽 可 能 早 地 面 对 规 
格 说 明 书 的 挑战 。 这 意味 着 测试 不 仅仅 是 评定 软件 的 质量 ， 测 试 还 可 以 尽 可 能 早 地 找 出 
缺陷 所 在 ， 从 而 帮助 改进 项 目 内 部 的 质量 。 参 与 前 期 工作 的 测试 者 可 以 预先 估计 问题 和 
难度 ， 这 将 可 以 显著 地 减少 总 体 测试 时 间 ， 加 快 项 目 进度 。 

根据 W 模型 的 要 求 , 一 旦 有 文档 提供 , 就 要 及 时 确定 测试 条 件 , 以 及 编写 测试 用 例 ， 
这 些 工 作对 测试 的 各 级 别 都 有 意义 。 当 需求 被 提交 后 ， 就 需要 确定 高 级 别 的 测试 用 例 来 
测试 这 些 需 求 。 当 概要 设计 编写 完成 后 ,就 需要 确定 测试 条 件 来 查找 该 阶段 的 设计 缺陷 。 

W 模型 也 是 有 局 限 性 的 。W 模型 和 V 模型 都 把 软件 的 开发 视 为 需求 、 设 计 、 编 码 
等 一 系列 串 行 的 活动 。 同 样 的 ， 软 件 开发 和 测试 保持 一 种 线性 的 前 后 关系 ， 需 要 有 严格 
的 指令 表示 .上 一 阶段 完全 结束 ， 才 可 正式 开始 下 一 个 阶段 。 这 样 就 无 法 支持 迭代 、 自 发 
性 以 及 变更 调整 。 对 于 当前 很 多 文档 需要 事后 补充 ， 或 者 根本 没有 文档 的 做 法 下 (这 已 
成 为 一 种 开发 的 文化 )， 开 发 人 员 和 测试 人 员 都 面临 同样 的 困惑 。 


2.6.3 H 模型 


1. 了 模型 建立 

V 模型 和 W 模型 均 存在 一 些 不 妥 之 处 。 首先 ， 如 前 所 述 ， 它们 都 把 软件 的 开发 视 为 
箭 求 、 设 计 、 编 码 等 一 系列 串 行 的 活动 ， 而 事实 上 ， 里 然 这 些 活 动 之 间 存 在 互相 牵制 的 
关系 ， 但 在 大 部 分 时 间 内 ， 它 们 是 可 以 交叉 进行 的 。 有 虽然 软件 开发 期 望 有 清晰 的 需求 、 
设计 和 编码 阶段 ， 但 实践 告诉 我 们 ， 严 格 的 阶段 划分 只 是 一 种 理想 状况 。 试 问 ， 有 几 个 
软件 项 目 是 在 有 了 明确 的 需求 之 后 才 开 始 设计 的 呢 ? 所 以 ， 相 应 的 测试 之 间 也 不 存在 严 


” 格 的 次 序 关 系 。 同 时 ， 各 层次 之 间 的 测试 也 存在 反复 触发 、 迭 代 和 增 重 关系 。 其 次 ，V 


模型 和 W 模型 都 没有 很 好 地 体现 测试 流程 的 完整 性 。 
为 了 解决 以 上 问题 ， 有 专家 提出 了 H 模型 。 它 将 测试 活动 完全 独立 出 来 ， 形 成 一 个 
完全 独立 的 流程 ， 将 测试 准备 活动 和 测试 执行 活动 清晰 地 体现 出 来 。 
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2. H 模型 应 用 
H 模型 的 简单 示意 图 如 图 2-3 所 示 。 


测试 准备 (A 测试 流程 


其 他 流程 《如 设计 流程 ) 


a 


2-3 ”软件 测试 H 模型 


这 个 示意 图 仅仅 演示 了 在 整个 生产 周期 中 某 个 层次 上 的 一 次 测试 “ 微 循环 ”。 图 中 
的 其 他 流程 可 以 是 任意 开发 流程 。 例 如 ， 设 计 流程 和 编码 流程 。 也 可 以 是 其 他 非 开发 流 
程 ， 例 如 ，SQA 流程 ， 甚 至 是 测试 流程 自身 。 也 就 是 说 ， 只 要 测试 条 件 成 熟 了 ， 测 试 淮 
备 活动 完成 了 ， 测 试 执 行 活动 就 可 以 (或 者 说 需要 ) 进行 了 。 

概括 地 说 ，H 模型 揭示 了 : z 

e 软件 测试 不 仅仅 指 测 试 的 执行 ， 还 包括 很 多 其 他 的 活动 。 

。 软件 测试 是 一 个 独立 的 流程 ， 贯 穿 产品 整个 生命 周期 ， 与 其 他 流程 并 发 地 进行 。 

。 软件 测试 要 尽早 准备 ， 尽 早 执行 。 

e。 软件 测试 是 根据 被 测 物 的 不 同 而 分 层次 进行 的 。 不 同 层次 的 测试 活动 可 以 是 技 

照 某 个 次 序 先后 进行 的 ， 但 也 可 能 是 反复 的 。 

在 H 模型 中 ， 软 件 测 试 模 型 是 一 个 独立 的 流程 ， 贯 穿 于 整个 产品 周期 ， 与 其 他 流程 

并 发 地 进行 。 当 某 个 测试 时 间 点 就 绪 时 ， 软 件 测 试 即 从 测试 准备 阶段 进入 测试 执行 阶段 。 


2.6.4 ”其 他 模型 


1.X 模型 

由 于 V 模型 受到 了 很 多 人 的 质疑 ， 因 此 ， 也 有 人 提出 了 一 些 不 同 的 观点 和 意见 。 
在 此 ， 我 们 向 大 家 介绍 另外 一 种 测试 模型 ， 即 X 模型 ， 其 目标 是 弥补 V 模型 的 一 些 
缺陷 。 

X 模型 的 基本 思想 是 由 Marick 提出 的 ， 但 首先 Marick 不 建议 建立 一 个 苦 代 模型 ， 
同时 ， 他 也 认为 他 的 观点 并 不 足以 支撑 一 个 模型 的 完整 描述 。 不 过 ，Robin F. Goldsmith 
先生 在 自己 的 文章 里 将 其 思想 定义 为 X 模型 ， 理 由 是 ， 在 Marick 的 观点 中 已 经 具备 一 
个 模型 所 需要 的 一 些 主要 内 容 ， 其 中 也 包括 了 像 探索 性 测试 这 样 的 带 点 ，。 软件 测试 叉 模 
型 如 图 2-4 所 示 。 
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执行 测试 


Tre 


. 
eyopos i 


图 2-4 软件 测试 X 模 型 


Marick 对 V 模型 最 主要 的 批评 是 V 模型 无 法 引导 项 目的 全 部 过 程 。 他 认为 一 个 模 
型 必须 能 处 理 开发 的 所 有 方面 ， 包 括 交 接 、 频 繁重 复 的 集成 以 及 需求 文档 的 缺乏 等 。 
Marick 认为 一 个 模型 不 应 该 规定 那些 和 当前 所 公认 的 实践 不 一 致 的 行为 。 

X 模型 左边 描述 的 是 针对 单独 程序 片段 所 进行 的 相互 分 离 的 编码 和 测试 ， 此 后 ， 将 
进行 频繁 的 交接 ， 通 过 集成 最 终 合成 为 可 执行 的 程序 。 这 一 点 在 图 的 右上 方 得 以 体现 ， 
而 且 这 些 可 执行 程序 还 需要 进行 测试 ， 已 通过 集成 测试 的 成 品 可 以 进行 封 版 并 提交 给 用 
户 ， 也 可 以 作为 更 大 规模 和 范围 内 集成 的 一 部 分 。 

”同时 ，X 模型 还 定位 了 探索 性 测试 ， 即 如 图 2-4 中 右 下 方 所 示 。 这 是 不 进行 事先 计 
划 的 特殊 类 型 的 测试 ， 诸 如 “我 这 么 测 一 下 ， 结 果 会 怎么 样 ” 这 一 方式 往往 能 帮助 有 经 
验 的 测试 人 员 在 测试 计划 之 外 发 现 更 多 的 软件 错误 。 : 

Marick 对 V 模型 提出 质疑 ， 也 是 因为 V 模型 是 基于 一 套 必 须 按 照 一 定 顺序 严格 排 
列 的 开发 步骤 ， 而 这 很 可 能 并 没有 反映 实际 的 实践 过 程 。 因 为 在 实践 过 程 中 ， 很 多 项 目 
是 缺乏 足够 的 需求 的 ， 而 V 模型 还 是 从 需求 处 理 开始 。 

Marick 也 质疑 了 单元 测试 和 集成 测试 的 区 别 ， 因 为 在 某 些 场合 人 们 可 能 会 跳 过 单元 
测试 而 热衷 于 直接 进行 集成 测试 。Marick 担心 人 们 盲目 地 跟随 “学 院 派 的 V 模型 ” 按 
照 模 型 所 指导 的 步骤 进行 工作 ， 而 实际 上 某 些 做 法 并 不 切合 实用 。 

2. 前 置 测试 模型 E 

前 置 测试 模型 是 由 Robin F. Goldsmith 等 人 提出 的 , 它 是 一 个 将 测试 和 开发 紧密 结合 
的 模型 ， 该 模型 提供 了 轻松 的 方式 ， 可 以 使 你 的 项 目 加 快速 度 。 
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前 置 测试 模型 如 图 2-5 所 示 。 


运行 与 维护 
(生命 周期 )| 


图 2-5 前 置 测试 枢 型 


前 置 测试 模型 体现 了 以 下 的 要 所 。 


开发 和 测试 相 结合 : 前 置 测试 模型 将 开发 和 测试 的 生命 周期 整合 在 一 起 ， 标 识 
了 项 目 生命 周期 从 开始 到 结束 之 间 的 关键 行为 。 并 且 标 识 了 这 些 行为 在 项 目 周 
期 中 的 价值 所 在 。 如 果 其 中 有 些 行为 没有 得 到 很 好 的 执行 ， 那 么 项 目 成 功 的 可 


能 性 就 会 因此 而 有 所 降低 。 如 果 有 业务 需求 ， 则 系统 开发 过 程 将 更 有 效率 。 我 


们 认为 在 没有 业务 锅 求 的 情况 下 进行 开发 和 测试 是 不 可 能 的 。 而 且 ， 业 务 寅 求 
最 好 在 设计 和 开发 之 前 就 被 正确 定义 。 

对 每 一 个 交付 内 容 进 行 测试 : 每 一 个 交付 的 开发 结果 都 必须 通过 一 定 的 方式 进 
行 测 试 。 源 程序 代码 并 不 是 惟一 需要 测试 的 内 容 。 图 中 的 椭圆 框 表 示 了 其 他 一 
些 要 测试 的 对 象 ， 包 括 可 行 性 报告 、 业 务 和 需求 说 明 ， 以 及 系统 设计 文档 等 。 这 
同 V 模型 中 开发 和 测试 的 对 应 关系 是 一 致 的 ， 并 且 在 其 基础 上 有 了 所 扩展 ， 变 得 
更 为 明确 。 1 

在 设计 阶段 进行 测试 计划 和 测试 设计 : 设计 阶段 是 作 测 试 计 划 和 测试 设计 的 地 
好 时 机 。 很 多 组 织 要 么 根本 不 作 测试 计划 和 测试 设计 ， 要 么 在 即将 开始 执行 测 
试 之 前 才 飞 快 地 完成 测试 计划 和 测试 设计 。 在 这 种 情况 下 ， 测 试 只 是 验证 了 程 


www.TopSage.com 


第 2 章 软件 测试 基础 19 


序 的 正确 性 ， 而 不 是 验证 整个 系统 本 该 实现 的 东西 。 

。 测试 和 开发 结合 在 一 起 : 前 置 测试 将 测试 执行 和 开发 结合 在 一 起 ， 并 在 开发 阶 
段 以 编码 一 测试 一 编码 一 测试 的 方式 来 体现 。 也 就 是 说 ， 程 序 片段 一 旦 编号 完 
成 ， 就 会 立即 进行 测试 。 一 般 情 况 下 ， 先 进行 的 测试 是 单元 测试 ， 因 为 开发 人 
员 认 为 通过 测试 来 发 现 错误 是 最 经 济 的 方式 。 但 也 可 参考 X 模型 ， 即 一 个 程序 
片段 也 需要 相关 的 集成 测试 ， 甚 至 有 时 还 需要 一 些 特殊 测试 。 对 于 一 个 特定 的 
程序 片段 ， 其 测试 的 顺序 可 以 按照 V 模型 的 规定 ， 但 其 中 还 会 交织 一 些 程序 片 
段 的 开发 ， 而 不 是 按 阶段 完全 地 隔离 。 

。 让 验收 测试 和 技术 测试 保持 相互 独立 ;验收 测试 应 该 独立 于 技术 测试 ， 这 样 可 
以 提供 双重 的 保险 ， 以 保证 设计 及 程序 编码 能 够 符合 最 终 用 户 的 需求 。 验 收 测 
试 既 可 以 在 实施 阶段 的 第 一 步 来 执行 ， 也 可 以 在 开发 阶段 的 最 后 一 步 执行 。 前 
置 测试 模型 提倡 验收 测试 和 技术 测试 沿 循 两 条 不 同 的 路 线 来 进行 ， 每 条 路 线 分 
别 地 验证 系统 是 否 能 够 如 预期 设想 的 那样 进行 正常 工作 。 这 样 ， 当 单独 设计 好 
的 验收 测试 完成 了 系统 的 验证 时 ， 我 们 即 可 确信 这 是 一 个 正确 的 系统 。 


2.6.5 ”测试 模型 的 使 用 


前 面 我 们 介绍 了 几 种 典型 的 测试 模型 ， 应 该 说 这 些 模型 对 指导 测试 工作 的 进行 具有 
重要 的 意义 ， 但 任何 模型 都 不 是 完美 的 。 我 们 应 该 尽 可 能 地 去 应 用 模型 中 对 项 目 有 实用 
价值 的 方面 ， 但 不 强行 地 为 使 用 模型 而 使 用 模型 ， 否 则 也 没有 实际 意义 。 

在 这 些 模型 中 ，V 模型 强调 了 在 整个 软件 项 目 开 发 中 需要 经 历 的 若干 个 测试 级 别 ， 
而 且 每 一 个 级 别 都 与 一 个 开发 级 别 相对 应 , 但 它 忽 略 了 测试 的 对 象 不 应 该 仅仅 包括 程序 ， 
或 者 说 它 没有 明确 地 指出 应 该 对 软件 的 需求 、 设 计 进行 测试 , 而 这 一 点 在 W 模型 中 得 到 
了 补充 。W 模型 强调 了 测试 计划 等 工作 的 先行 和 对 系统 需求 和 系统 设计 的 测试 ， 但 W 
模型 和 V 模型 一 样 也 没有 专门 针对 软件 测试 的 流程 予以 说 明 ， 因 为 事实 上 ， 随 着 软件 质 
量 要 求 越 来 越 为 大 家 所 重视 ， 软 件 测 试 也 逐步 发 展 成 为 一 个 独立 于 软件 开发 部 的 组 织 ， 
就 每 一 个 软件 测试 的 细节 而 言 , 它 都 有 一 个 独立 的 操作 流程 。 比 如 , 现在 的 第 三 方 测试 ， 
就 包含 了 从 测试 计划 和 测试 案例 编写 ， 到 测试 实施 以 及 测试 报告 编写 的 全 过 程 ， 这 个 过 
程 在 H 模型 中 得 到 了 相应 的 体现 ， 表 现 为 测试 是 独立 的 。 也 就 是 说 ， 只 要 测试 前 提 具 备 
了 ， 就 可 以 开始 进行 测试 了 。 当 然 ， a ale gar ia a 
.确定 因素 的 处 理 情况 ， 因 为 在 真实 项 目 中 ， 经 常会 有 变更 的 发 生 ， 例 如 需要 重新 访问 前 
一 阶 和 的 内 容 ， 或 者 吕 史 并 纠正 以前 提交 的 内 容 ， 修 复 错误 ， 排 除 多 人 的 由 分 ， 以 及 吉 
加 新 发 现 的 功能 等 。 

因此 ， 在 实际 的 工作 中 ， 我 们 要 灵活 地 运用 各 种 模型 的 优点 ， 在 W 模型 的 框架 下 ， 
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运用 H 模型 的 思想 进行 独立 地 测试 ， 并 同时 将 测试 和 开发 紧密 结合 ， 寻 找 恰当 的 就 绪 点 
开始 测试 并 反复 选 代 测试 ， 最 终 保证 按期 完成 预定 目标 。 


2.7 软件 生命 周期 测试 策略 
2.7.1 软件 开发 与 软件 测试 


在 W 模型 中 , 我 们 对 软件 的 需求 、 设计 测试 进行 了 六 述 ， 本 节 重 点 强调 软件 生命 周 
期 中 程序 开发 部 分 需要 经 历 的 若干 个 测试 级 别 ， 采 用 V 模型 来 进行 介绍 。 

软件 开发 过 程 是 一 个 自 顶 向 下 ， 逐 步 细 化 的 过 程 。 首 先 ， 在 软件 计划 阶段 定义 了 软 
件 的 作用 域 ， 然 后 进行 软件 需求 分 析 ， 建 立 软件 的 数据 域 、 功 能 和 性 能 需求 、 约 束 及 一 
些 有 效 性 准则 。 接 着 进入 软件 开发 ， 进 行 软件 设计 ， 把 设计 用 某 种 程序 设计 语言 转换 成 
程序 代码 。 而 测试 过 程 则 是 依照 相反 的 顺序 安排 自 底 向 上 ， 逐 步 集成 的 过 程 。 低 一 级 测 
试 为 上 一 级 测试 准备 条 件 。 当 然 不 排除 两 者 平行 地 进行 测试 。 

如 图 2-6 所 示 ， 首 先 对 每 一 个 程序 模块 进行 单元 测试 ， 消 除 程序 模块 内 部 在 逻辑 上 
和 功能 上 的 错误 和 缺陷 。 再 对 照 软件 设计 进行 集成 测试 ， 检 测 和 排除 子 系统 (或 系统 ) 
结构 上 的 错误 。 随 后 再 对 照 需求 ， 进 行 确认 测试 。 最 后 从 系统 整体 出 发 ， 运 行 系统 ， 看 
是 否 满足 要 求 。 


| 需求 分 析 | 概要 设计 | | 详细 设计 流程 序 
er 


| 说明书 


图 2.6 软件 测试 与 软件 开发 过 程 的 关系 


2.7.2 软件 测试 策略 


测试 过 程 按 4 个 步骤 进行 ， 即 单元 测试 、 集 成 《组装 ) 测试、 确认 测试 和 系统 测试 。 
如 图 2-7 所 示 显 示 出 软件 测试 经 历 的 4 个 步骤 。 
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村 


块 
被 测 模块 单元 
测试 


款 洽 于 慌 洲 吕 


图 2-7 ”软件 测试 的 过 程 


开始 是 单元 测试 ， 集 中 对 用 源 代码 实现 的 每 一 个 程序 单元 进行 测试 ， 检 查 各 个 程序 
模块 是 否 正 确 地 实现 了 规定 的 功能 。 然 后 ， 把 已 测试 过 的 模块 组 装 起 来 ， 进 行 集成 测试 
(组 装 测试 )， 主 要 对 与 设计 相关 的 软件 体系 结构 的 构造 进行 测试 。 为 此 ， 在 将 一 个 一 个 
实施 了 单元 测试 并 确保 无 误 的 程序 模块 组 装 成 软件 系统 的 过 程 中 ， 对 正确 性 和 程序 结构 
等 方面 进行 检查 。 确 认 测 试 则 是 要 检查 已 实现 的 软件 是 否 满足 了 需求 规格 说 明 中 确定 了 
的 各 种 需求 ， 以 及 软件 配置 是 否 完 人 全、 正确。 最 后 是 系统 测试 ， 把 已 经 经 过 确认 的 软件 
纳入 实际 运行 环境 中 ， 与 其 他 系统 成 分 组 合 在 一 起 进行 测试 。 严 格 地 说 ， 系 统 测试 已 超 
出 了 软件 工程 的 范围 。 

1. 测试 信息 流 | 

测试 信息 流 如 图 2-8 所 示 。 测 试 过 程 需 要 以 下 三 类 输入 。 

: 


改正 的 软件 
T 一 一 Ee» 
; > 测试 结果 
测试 配置 一 ->| 结果 
md 
| - 可 知性 | 预测 可 靠 性 
测试 工具 
出 错 率 数 据 
图 2-8 测试 信息 流 
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软件 配置 ; 包括 软件 需求 规格 说 明 、 软 件 设 计 规 格 说 明 、 源 代码 等 。 

测试 配置 : 包括 测试 计划 、 测 试用 例 、 测 试 驱动 程序 等 。 实 际 上 ， 在 整个 软件 工程 
中 ， 测 试 配 置 只 是 软件 配置 的 一 个 子 集 。 

测试 工具 : 为 提 商 软件 测试 效率 ， 可 使 用 测试 工具 支持 测试 工作 ， 其 作用 就 是 为 测 
试 的 实施 提供 某 种 服务 ， 以 减轻 测试 任务 中 的 手工 劳动 。 例 如 , 测试 数据 自动 生成 程序 、 
泛 态 分 析 程 序 、 动 态 分 析 程 序 、 测 试 结果 分 析 程 序 以 及 驱动 测试 的 测试 数据 库 等 。 

测试 之 后 ， 要 对 所 有 测试 结果 进行 分 析 ， 即 将 实测 的 结果 与 预期 的 结果 进行 比较 。 
如 果 发 现 出 错 的 数据 ， 就 意味 着 软件 有 错误 ， 就 需要 开始 排 错 (调试 )。 即 对 已 经 发 现 的 
错误 进行 错误 定位 和 确定 出 错 性 质 ， 并 改正 这 些 错误 ， 同 时 修改 相关 的 文档 。 修 正 后 的 
文档 一 般 都 要 经 过 再 次 测试 ， 直 到 通过 测试 为 止 。 

排 错 的 过 程 是 测试 过 程 中 最 不 可 预知 的 部 分 ， 即 使 是 一 个 与 预期 结果 只 相差 0.01% 
的 错误 ， 也 可 能 震 要 花 上 一 个 小 时 、 一 天 、 甚 至 一 个 月 的 时 间 去 查找 原因 并 改正 错误 。 
也 正 是 因为 排 镜 中 的 这 种 固有 的 不 确定 性 ， 使 得 我 们 很 难 确定 可 靠 的 测试 进度 。 

通过 收集 和 分 析 测 试 结果 数据 ， 开 始 针对 软件 建立 可 靠 性 模型 。 如 果 经 常 出 现 需 要 
修改 设计 的 严重 错误 , 那么 软件 质量 和 可 舍 性 就 值得 怀 矣 ,同时 也 囊 明 需要 进一步 测试 。 
如 果 与 此 相反 ， 软 件 功 能 能 够 正确 完成 ， 出 现 的 错误 易于 修改 ， 那 么 就 可 以 断定 :或 者 
是 软件 的 质量 和 可 移 性 达到 可 以 接受 的 程度 ,或 者 是 所 作 的 测试 不 足以 发 现 严重 的 错误 。 
如 果 测 试 发 现 不 了 错误 ， 那 么 几乎 可 以 肯定 ， 测 试 配置 考虑 得 不 够 细致 充分 ， 错 误 仍 然 
潜伏 在 软件 中 。 这 些 错 误 最 终 不 得 不 由 用 户 在 使 用 过 程 中 发 现 ， 并 在 维护 时 由 开发 者 去 
改正 。 但 那 时 改正 错误 的 费用 将 比 在 开发 阶段 改正 错误 的 费用 要 商 出 40~60 倍 。. 

2. 分 析 设 计 阶 段 

分 析 设 计 阶 段 的 测试 工作 是 评审 与 测试 相 结合 的 过 程 ， 主 要 包括 需求 说 明 书 评测 、 
概要 设计 说 明 书 评测 、 详 细 设 计 说 明 书 评测 以 及 软件 编码 规范 评测 等 。 下 述 章节 将 详细 
论述 。 

(1) 需求 说 明 书 评测 

由 于 软件 应 用 系统 针对 的 行业 广泛 ， 因 此 在 需求 分 析 阶 段 可 能 存在 着 承建 单位 对 业 
主 单位 的 业务 需求 理解 不 全 面 、 不 准确 的 情况 ， 常 发 生 承 建 单位 认为 菜 一 个 业务 功能 的 
实现 非常 简单 ， 而 实际 上 业主 单位 业务 标准 的 要 求 却 很 复杂 的 情况 。 在 这 种 情况 下 ， 如 
果 不 通过 评测 进行 相关 的 质量 控制 ， 往 往 造 成 承建 单位 按照 自己 的 理解 进行 开发 。 如 果 
不 进行 评测 ， 或 者 评测 之 后 没有 充分 发 现 问 题 ， 则 给 系统 造成 重大 隐患 ， 或 者 造成 返工 
与 延期 。 

因此 ， 在 此 阶段 评测 的 工作 重点 是 与 承建 单位 的 分 析 人 员 、 设 计 人 员 一 起 对 舌 求 说 
明 书 进行 审查 ， 并 协调 业主 单位 完成 需求 说 明 书 的 评审 确认 。 
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什么 样 的 需求 说 明 书 是 良好 的 ， 和 需求 说 明 书 编写 应 该 遵照 怎样 的 框架 ， 针 对 顺 求 说 
明 书 的 评测 有 哪些 主要 内 容 等 ， 这 些 在 下 述 章节 将 详细 论述 。 

。 编制 良好 的 需求 说 明 书 8 条 原则 。 a 

1979 年 由 Balzer 和 Goldman 提出 了 作出 良好 规格 说 明 的 8 条 原则 。 

原则 1: 功能 与 实现 分 离 ， 即 描述 要 “做 什么 ”而 不 是 “怎样 实现 ”。 

原则 2: 要 求 使 用 面向 处 理 的 规格 说 明 语 言 ， 讨 论 来 自 环境 的 各 种 刺激 可 能 导致 系统 
做 出 什么 样 的 功能 性 反应 ， 来 定义 一 个 行为 模型 ， 从 而 得 到 “做 什么 ”的 规格 说 明 。 

原则 3: 如 果 目 标 软件 只 是 一 个 大 系统 中 的 一 个 元 素 ， 那 么 整个 大 系统 也 包括 在 规格 
说 明 的 描述 之 中 。 描述 该 目标 软件 与 系统 的 其 他 系统 元 素 交互 的 方式 。 

原则 4: 规格 说 明 必须 包括 系统 运行 的 环境 。 

原则 5， 系统 规格 说 明 必 须 是 一 个 认识 的 模型 ， 而 不 是 设计 或 实现 的 模型 

原则 6， 规格 说 明 必须 是 可 操作 的 。 规 格 说 明 必 须 是 充分 完全 和 形式 的 ， 以 便 能 够 利 
用 它 决定 对 于 任意 给 定 的 测试 用 例 ， 已 提出 的 实现 方案 是 否 都 能 满足 规格 说 明 。 

原则 7: 规格 说 明 必 须 容许 不 完备 性 并 允许 扩充 。 

原则 8; 规格 说 明 必须 局 部 化 和 松散 的 看 合 。 它 所 包括 的 信息 必须 局 部 化 ， 这 样 当 信 
息 被 修改 时 , 只 要 修改 某 个 单个 的 段落 (理想 情况 )。 同时 ， i 
耦合 )， 以 便 能 够 很 容易 地 加 入 和 删 去 一 些 段 落 。 

尽管 Balzer 和 Goldman 提出 的 这 8 条 原则 主要 用 于 基于 形式 化 规格 说 明 语 言 之 上 的 
需求 定义 的 完备 性 ， 但 这 些 原则 对 于 其 他 各 种 形式 的 规格 说 明 都 适用 。 当 然 要 结合 实际 
来 应 用 上 述 的 原则 。 

。 需求 说 明 书 的 框架 。 

需求 说 明 书 是 分 析 任 务 的 最 终 产 物 ， 通 过 建立 完整 的 信息 描述 、 详 细 的 功能 和 行为 
描述 、 性 能 需求 和 设计 约束 的 说 明 、 合 通 的 验收 标准 ， 给 出 对 目标 软件 的 各 种 需求 。 如 
表 2-1 中 列 出 了 需求 说 明 书 的 框架 。 


表 2-1 需求 说 明 书 的 框架 

1 . 引言 A. 系统 参考 文献 ” B, 整体 描述  C, 软件 项 目 约束 
LIL. 信息 描述 A, 信息 内 容 表 示 。” B. 信息 流 表 示 “i. 数据 流 “证 控制 流 
II, 功能 描述 ”A, 功 能 划分 B. 功 能 描述 i. 处 理 说 明 ii 限制 /局 限 ii, 性 能 需求 

iv 设计 约束 。v. 支 接 图 CC. 控制 描述 ji dA ii, 设计 约束 
IV. 行为 描述 ”A. 系统 状态 ”B, 事件 和 响应 
V. 检验 标准 ”A. 性 能 范围 ”B. 测试 种 类 CC. 有 的 软件 确 应 - 5. ET 
VI. 参考 书目 
训 . 附录 
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。 ”需求 说 明 书 评测 内 容 。 

需求 说 明 书评 测 作 为 需求 分 析 阶 段 工 作 的 复查 手段 ， 应 该 对 功能 的 正确 性 、 完 整 性 
和 清晰 性 ， 以 及 其 他 需求 给 予 评 测 。 评 测 的 主要 内 容 是 ; 

(D 系统 定义 的 目标 是 否 与 用 户 的 要 求 一 致 ; 

@ 系统 需求 分 析 阶 段 提供 的 文档 资料 是 否 齐 全 ; / 

四 文档 中 的 所 有 描述 是 否 完整 、 清 晰 ， 准 确 地 反映 用 户 要 求 ; 

@ 与 所 有 其 他 系统 成 份 的 重要 接口 是 否 都 已 经 描述 ; 

@@ 被 开发 项 目的 数据 流 与 数据 结构 是 否 足够 、 确 定 ; 

所 有 图 表 是 否 清楚 ,在 不 补充 说 明 时 能 否 理 解 ; 

主要 功能 是 否 已 包括 在 规定 的 软件 范围 之 内 ， 是 否 都 已 充分 说 明 ; 

软件 的 行为 和 它 必须 处 理 的 信息 、 必 须 完成 的 功能 是 否 一 致 

设计 的 约束 条 件 或 限制 条 件 是 否 符合 实际 ; 

是 否 考虑 了 开发 的 技术 风险 ; 

是 否 考虑 过 软件 需求 的 其 他 方案 ;。 

人 是 否 考虑 过 将 来 可 能 会 提出 的 软件 需求 。 

四 是 否 详细 制定 了 检验 标准 ， 它 们 能 否 对 系统 定义 是 否 成 功 进行 确认 ; 

多 有 没有 遗漏 、 重 复 或 不 一 致 的 地 方 ; 

@@ 用 户 是 否 审查 了 初步 的 用 户 手 册 或 原型 ; 

人 项 目 开发 计划 中 的 估算 是 否 受 到 了 影响 。 

为 保证 软件 需求 定义 的 质量 ， 评 测 应 由 专门 指定 的 人 员 负 责 ， 并 按 规 程 严格 进行 。 
评审 结束 ， 应 有 评审 负责 人 的 结论 意见 及 签字 。 除 承建 单位 分 析 员 之 外 ， 业 主 单位 人 员 
和 测试 单位 都 应 当 参 加 评测 工作 。 需 求 说 明 书 要 经 过 严格 评测 ， 一 般 ， 评 测 的 结果 都 包 
括 了 一 些 修改 意见 ， 待 修改 完成 后 再 经 评测 ， 才 可 进入 设计 阶段 。 根 据 上 述 讨 论 的 评测 
内 容 ， 可 以 制定 需求 说 明 书 评测 规范 ， 如 表 2-2 所 示 。 

填 表 说 明 : Y 一 是 ，TBD 一 不 确定 ，N 一 否 ，NA 一 不 适用 。 


表 2-2 需求 说 明 书 评测 规范 


清晰 性 


系统 的 目标 是 否 已 定义 


评测 结果 
YATBD/NNA 


是 否 对 关键 术语 和 缩 略 语 进行 定义 和 描述 | 
所 使 用 的 术语 是 否 和 用 户 /客户 使 用 的 一 致 _ / ] 


需求 的 描述 是 否 清晰 ， 不 含糊 


上 | |= 
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续 表 


, 评测 结果 


清晰 性 


是 否 有 对 整套 系统 进行 功能 概述 


是 否 已 详细 说 明了 软件 环境 (共存 的 软件 ) 和 硬件 环境 (特定 的 
配置 ) 


7 | 如 果 有 会 影响 实施 的 假设 情况 ， 是 否 已 经 声明 | 
8 | 是 否 已 经 对 每 个 业务 逻辑 进行 输入 、 和 输出 以 及 过 程 的 详细 说 明 
完整 性 

是 否 列 出 了 系统 所 必须 的 依赖 、 候 设 以 有 约束 
是 否 对 每 个 提交 物 或 阶段 实施 都 进行 了 知 求 说 明 
需求 说 明 书 是 否 已 包括 了 主要 的 质量 属性 , 例如 有 效 性 、 高 效 性 、 
灵活 性 、 完 整 性 、 互 操作 性 、 可 人 性 、 健 壮 性 、 可 用 性 、 可 维护 
性 、 可 移植 性 、 可 重用 性 和 可 测试 性 
依从 性 

12 | 该 文档 是 否 遵守 了 该 项 目的 文档 编写 标准 

一 致 性 
13 | 需求 说 明 是 否 存 在 直接 相互 矛盾 的 条 目 
14 | 本 需求 说 明 书 是 否 与 相关 需求 素材 - 致 
可 行 性 

15 | 所 描述 的 所 有 功能 是 否 必要 并 充分 地 满足 客户 /系统 目标 
16 | 需求 说 明 书 描述 的 详细 程度 是 否 足 以 进行 详细 的 设计 
17 | 已 知 的 限制 〈 局 限 ) 是 否 已 经 详细 说 明 
18 | 是 否 已 确定 每 个 需求 的 优先 级 别 | 
可 管理 性 

是 否 将 需求 分 别 陈述 ， 因 此 它们 是 独立 的 并 且 是 可 检查 的 | 
是 否 所 有 需求 都 可 以 回 湖 到 相应 的 需求 素材 ， 反 之 亦 然 | 
是否 已 详细 说 明 御 求 变更 的 过 程 


”在 需求 说 明 书 评测 结束 后 ， 测 试 单位 应 将 评测 意见 以 专题 报告 的 形式 提交 业主 单位 。 
(2) 概要 设计 说 明 书 评测 
。 设计 说 明 书 的 框架 。 如 表 2-3 所 示 为 软件 设计 规格 说 明 的 大 纲 。 
软件 设计 的 最 终 目 标 是 要 取得 最 佳 方案 “最 佳 ” 是 指 在 所 有 候选 方案 中 ， 就 节省 
开发 费用 ， 降 低 资 源 消耗 ， 缩 短 开发 时 间 的 条 件 ， 选 择 能 够 赢得 较 高 的 生产 率 、 较 高 的 
可 区 性 和 可 维护 性 的 方案 。 在 整个 设计 的 过 程 中 ， 各 个 时 期 的 设计 结果 需要 经 过 一 系列 
设计 质量 的 评测 ， 以 便 及 时 发 现 和 解决 在 软件 设计 中 出 现 的 问题 ， 防 止 把 问题 遗留 到 开 


Un 
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发 的 后 期 阶段 ， 造 成 后 患 。 


表 2-3 软件 设计 规格 说 阴 大 组 
“1 . 工作 范围 A. 系统 目标 ” B. 运行 环境 C. 主要 软件 和 需求。 D. 设计 约束 /限制 
[1 . 体系 结构 设计 A. 数据 流 与 控制 流 复审 。 B, 导出 的 程序 结构 C. 功能 与 程序 交叉 索引 
[I 数据 设计 A. 数据 对 象 与 形成 的 数据 结构 ”B. 文件 和 数据 库 结构 ”i. 文件 的 逻辑 结构 
ii, 文件 逻辑 记录 描述 证, 访问 方式 。”C. 全 局 数据 D. 文件 /数据 与 程序 交叉 索引 
IV. 接口 设计 A. 人 机 界面 规格 说 明  B: 人 机 界面 设计 规则 C. 外 部 接口 设计 i, 外 部 数据 接 
口 诈 外 部 系统 或 设备 接口 ”D. 内 部 接口 设计 规则 
V. (每 个 模块 的 ) 过 程 设计 ”A. 处 理 与 算法 描述 ”B. 接口 描述 ”C. 设计 语言 (或 其 他 ) 描 述 
D. 使 用 的 模块  E. 内 部 程序 逻辑 描述 ”RE 注释 /约束 /限制 
运行 设计 A. 运行 模块 组 合 ”B. 运行 控制 规则 。C. 运行 时 间 安 排 
. 出 错 处 理 设计 A. 出 错 处 理 信息 ”B. 出 错 处 理 对 策 i. 设置 后 备 让 性 能 降级 说, 恢复 
和 再 启动 
安全 保密 设计 
需求 /设计 交叉 索引 
测试 部 分 。 A. 测试 方针 B, 集成 策略 。 C. 特殊 考虑 
特殊 注解 
附录 


。 概要 设计 说 明 书 评测 的 内 容 。 

@ 可 追溯 性 ， 即 分 析 该 软件 的 系统 结构 、 子 系统 结构 ， 确 认 该 软件 设计 是 否 覆 盖 
了 所 有 已 确定 的 软件 需求 ， 软 件 每 一 成 份 是 否 可 追溯 到 某 一 项 需求 。 

@ 接口 ， 即 分 析 软 件 各 部 分 之 间 的 联系 ， 确 认 该 软件 的 内 部 接口 与 外 部 接口 是 否 

已 经 明确 定义 。 模 块 是 否 满足 高 内 聚 和 低 耦 合 的 要 求 。 模 块 作用 范围 是 否 在 其 控制 范围 

之 内 。 

@ 风险 : 即 确认 该 软件 设计 在 现 有 技术 条 件 下 和 预算 范围 内 是 否 能 技 时 实现 。 

实用 性 : 即 确认 该 软件 设计 对 于 需求 的 解决 方案 是 否 实用 。 

@@ 技术 清晰 度 ， 即 确认 该 软件 设计 是 否 以 一 种 易于 翻译 成 代码 的 形式 表达 。 

可 维护 性 : 从 软件 维护 的 角度 出 发 , 确认 该 软件 设计 是 否 考 虑 了 方便 未 来 的 维护 。 

@ 质量 ， 即 确认 该 软件 设计 是 否 表现 出 良好 的 质量 特征 。 

各 种 选择 方案 : 看 是 否 考虑 过 其 他 方案 ， 比 较 各 种 选择 方案 的 标准 是 什么 。 

限制 ， 评 估 对 该 软件 的 限制 是 否 现实 ， 是 否 与 需求 一 致 。 

其 他 具体 问题 ， 对 于 文档 、 可 测试 性 、 设 计 过 程 等 进行 评估 。 

在 这 里 需要 特别 注意 ， 软 件 系统 的 一 些 外 部 特性 的 设计 ， 例 如 软件 的 功能 、 一 部 分 
性 能 以 及 用 户 的 使 用 特性 等 ， 在 软件 需求 分 析 阶 段 就 已 经 开始 。 这 些 问 题 的 解决 ， 多 少 


着 | 兰 | 关 | 守 | 剖 | 吾 | 于 
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带 有 一 些 “ 怎 么 做 ”的 性 质 ， 因 此 有 人 称 之 为 软件 的 外 部 设计 。 
为 评测 设计 是 否 达到 目标 ， 必 须 建立 衡量 设计 的 技术 标准 。 如 下 : 
”@ 设计 出 来 的 结构 应 是 分 层 结构 ， 从 而 建立 软件 成 分 之 间 的 控制 。 
@ 设计 应 当 模 块 化 ， 从 逻辑 上 将 软件 划分 为 完成 特定 功能 或 子 功能 的 构件 。 
”@ 设计 应 当 既 包含 数据 抽象 ， 也 包含 过 程 抽象 。 
@ 设计 应 当 建立 具有 独立 功能 特征 的 模块 。 
@ 设计 应 当 建 立 能 够 降低 模块 与 外 部 环境 之 间 复 杂 连 接 的 接口 。 
设计 应 能 根据 软件 需求 分 析 获取 的 信息 ， 建 立 可 驱动 、 可 重复 的 方法 。 
根据 上 述 讨论 的 评测 内 容 以 及 评测 标准 ， 可 以 建立 概要 设计 说 明 书 评测 规范 ， 如 
表 2-4 所 示 。 
” ” 填 表 说 明 ; Y 一 是 ，TBD 一 不 确定 ，N 一 否 ，NA 一 不 适用 。 


表 2-4 概要 设计 说 明 书评 测 规范 


评测 结果 
os YTBDNNA 
清晰 性 

是 否 所 设计 的 架构 ， 包 括 数 据 流 、 控 制 流 和 接口 ， 被 清楚 地 表达 了 

是 否 所 有 的 假设 、 约 束 、 策 略 及 依赖 都 被 记录 在 本 文档 7 

是 否定 义 了 总 体 设计 量 标 


完整 性 一 


4 | 是 否 所 有 的 以 前 的 TBD 〈 待 确定 条 目 ) 都 已 经 被 解决 7 | 
5 | 是 否 设 计 已 经 可 以 支持 本 文档 中 过 留 的 TBD 有 可 能 带 来 的 变更 
6 | 是 否 所 有 的 TBD 的 影响 都 已 经 被 评 洋 
7 | 是 否 仍 存在 可 能 不 可 行 的 设计 部 分 

是 否 已 记录 设计 时 的 权衡 考虑 , 该 文件 是 否 包括 了 权衡 选择 的 标准 和 不 选 


择 其 他 方案 的 原因 \ 
依从 性 z z z 
一 致 性 

数据 元 素 、 流程 对象 的 命名 和 使 用 在 整套 系统 和 外 部 接口 之 间 是 否 一 致 
_ 该 设计 是 否 反映 了 实际 操作 环境 〈 硬 件 、 软 件 和 支持 软件 ) 


数据 使 用 


14 | 所 有 复合 数据 元 素 、 参 数 以 及 对 象 的 概念 是 否 都 已 文档 化 
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续 表 
[ ”评测 结果 
| Y/TBD/N/NA 


20 [是否 已 描述 界面 的 功能 特性 


21 | 界面 将 有 利于 问题 解决 吗 | 


主要 性 能 参数 是 否 已 被 详细 说 明 (例如 ; 实时、 速度 要 求 、 磁 盘 输 入 / 输 ” 
出 接口 等 ) 


所 继承 设计 的 已 知 风险 是 知已 确定 和 分 析 
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《3) 详细 设计 说 明 书 评测 四 
-详细 设计 说 明 书 的 评测 标准 和 评测 内 容 与 概要 设计 说 明 书 基本 相同 ， 这 里 不 再 殉 
述 。 如 表 2-5 所 示 为 详细 设计 说 明 书 评测 规范 。 和 

填 表 说 明 ; Y 一 是 ，TBD 一 不 确定 ，N 一 否 ，NA 一 不 适用 。 


表 2-5 详细 设计 说 明 书评 测 规范 


评测 六 果 


清晰 性 2 
所 有 单元 或 过 程 的 目的 是 否 都 已 文档 化 
包括 了 数据 流 、 控 制 流 和 接口 的 单元 设计 是 否 已 消 晰 地 说 明 

完整 性 
是 否 已 定义 和 初始 化 所 有 的 变 证 、 指 针 和 常量 
是 否 已 描述 单元 的 全 部 功能 | 
是 否 已 详细 说 明 用 来 实现 该 单元 的 关键 算法 〈 例 如 : 用 自然 语言 或 PDL) | . 


J 是否 已 列 出 该 音 元 的 调用 | 

依从 性 z 

7 “| 该 文档 是 否 遵循 了 该 项 目 已 文档 化 的 标准 

8 | 是否 采用 了 所 要 求 的 方法 和 工具 来 进行 单元 设计 
一 致 性 

9 | 数据 元 素 的 命名 和 使 用 在 蓝 个 单元 和 单元 接口 之 间 是 否 ~ 致 

10 _| 所 有 接口 的 设计 是 否 互相 一 致 并 且 和 更 高 级 别 文档 致 


正确 性 

是 否 处 理 所 有 条 件 (>0、=0、<0、switclycase)， 是 否 存在 处 理 “case not 
found” 的 条 件 

是 否 正确 地 规定 了 分 支 《逻辑 没有 烦 倒 ) 
数据 使 用 

_ 是否 所 有 声明 的 数据 都 被 实 际 使 有 到 | 
是 否 所 有 该 单元 的 数据 结构 都 被 详细 说 明 


Ei 
数据 (或 文件 ) 的 存 取 权限 

_ 是 否 所 有 逻辑 单元 、 时 间 标 志和 同步 标志 都 被 定义 和 初始 化 
接口 

接口 参数 在 数 熏 、 类 型 和 顺序 上 是 否 m 配 
是 否 所 有 的 输入 和 输出 都 被 正确 定义 和 检查 | 
是 否 传递 参数 序列 都 被 消 晰 地 指 述 | 
是 否 所 有 参数 和 控制 标志 由 已 描述 的 单元 传递 或 iE 回 | 
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评测 结果 
| YATBDANNA 


是 否 详细 说 明了 参数 的 应 量 单位 、 取 值 范围 、 正 确 度 和 精度 

共享 数据 区 域 及 其 存 取 规 定 的 映射 是 天 -至 
可 维护 性 

| 单元 是 否 具有 高 内 来 度 和 低 克 合 度 《 例 如 ， 对 该 单元 的 更 改 不 会 在 该 单 
元 有 任何 无 法 预料 的 影响 并 对 其 他 单元 的 丧 哆 很 小 ) 


| 是 否 该 单元 的 所 有 约束 《例如 ; 过程 时 间 和 规模 ) 都 被 详细 说 明 
-可 名 性 
25 “| 初始 化 是 否 使 用 到 缺 省 值 ， 缺 省 值 是 否 正确 
是 否 在 内 存 访问 的 时 候 执行 了 边界 检查 〈 例 如 : 数组 、 数 据 结构 、 指 针 
| 等 ) 来 确保 只 是 改变 了 目标 存储 位 置 
27 | 是 否 执 行 输 入 、 钵 出 、 接 口 和 结果 的 错误 检查 
28 ”| 是 否 对 所 有 错误 情况 都 发 出 有 意义 的 信息 
29 .| 对 特殊 情况 返回 的 代码 是 否 和 已 规定 的 全 局 定义 的 返回 代码 相 匹配 | 
0 | 是 否 考 志 到 意外 事件 | 
易 测 性 
| 是 客 能 够 对 每 个 单元 进行 测试 、 演示 ， 分 于 或 科 查 来 说 明 它 们 是 满 忌 宕 


26 


pd 


该 设计 是 否 包 含 检 查 点 来 攻 助 测试 (例如; 有 条 件 的 编译 代码 和 数据 声 
明 测试 ) | 
| 是 否 所 有 的 逻辑 都 能 被 测试 \ a 
是 否 已 描述 测试 程序 、 测 试 数据 集 和 测试 结果 

可 追溯 性 

| 是 否 设计 的 每 一 部 分 都 能 追溯 到 其 他 项 目 文档 的 需求 ， 也 能 追溯 到 更 高 | 
级 别 文档 的 逢 求 


是 否 所 有 的 设计 决定 都 能 追溯 到 权衡 考虑 
单元 需求 是 否 都 能 上 测 到 更 高 级 别 的 文档 ， 更 高 级 别 文档 的 需求 是 否 已 | 
经 在 单元 中 体现 | 


(4) 软件 编码 规范 评测 

程序 实际 上 也 是 一 种 供 人 阅读 的 文章 ， 有 一 个 文章 的 风格 问题 。 程 序 良 好 的 风格 表 
现在 源 程 序 文档 化 、 数 据说 明 的 方法 、 语 句 结构 和 输入 /输出 方法 这 四 个 方面 ， 软 件 编码 
规范 评测 也 是 围绕 这 四 个 方面 展开 。 下 面 分 别论 述 交 测 和 折 容 银 及 相应 的 请 党 标准 

e。 源 程 序 文 档 化 。 


www.TopSage.com 


第 2 章 软件 测试 基础 31 


Q 符号 名 的 命名 。 符 号 名 即 标识 符 ， 包 括 模块 名 、 变 量 名 、 常 量 名 、 标 号 名 、 了 于 
程序 名 、 数 据 区 名 以 及 缓 神 区 名 等 。 这 些 名 字 应 能 反映 它 所 代表 的 实际 东西 ， 应 有 一 定 
实际 意义 。 例 如 , 表示 次 数 的 量 用 Times, 表示 总 量 的 用 Total, 表示 平均 值 的 用 Average， 
表示 和 的 重用 Sum 等 。 

名 字 不 是 越 长 越 好 ， 应 当选 择 精 炼 的 、 意 义 明 确 的 名 字 。 必 要 时 可 使 用 缩写 名 字 ， 
但 这 时 要 注意 缩写 规则 要 一 致 ， 并 且 要 给 每 一 个 名 字 加 注释 。 同 时 ， 在 一 个 程序 中 ， 一 
个 变量 只 应 用 于 一 种 用 途 。 

@ 程序 的 注释 。 夹 在 程序 中 的 注释 是 程序 员 日 后 与 程序 读者 之 问 通信 的 重要 手段 。 
注释 绝 不 是 可 有 可 无 的 。 一些 正规 的 程序 文本 中 , 注释 行 的 数量 占 到 整个 源 程序 的 13 一 
1/2， 甚 至 更 多 。 注 释 分 为 序言 性 注释 和 功能 性 注释 。 

序言 性 注释 通常 置 于 每 个 程序 模块 的 开头 部 分 ， 它 应 当 给 出 程序 的 整体 说 明 ， 对 于 
理解 程序 本 身 具 有 引导 作用 。 有 些 软件 开发 部 门 对 序言 性 注释 做 了 明确 而 严格 的 规定 ， 
要 求 程序 编制 者 逐 项 列 出 。 有 关 项 目 包 括 : 程序 标题 ， 有关 本 模块 功能 和 目的 的 说 明 ; 
主要 算法 ; 接口 说 明 : 包括 调用 形式 ， 参 数 描述 ， 子 程序 清单 ， 有 关 数 据 描 述 ， 重 要 的 
变量 及 其 用 途 ， 约 束 或 限制 条 件 ， 以 及 其 他 有 关 人 信息; 模块 位 置 ， 在 哪 一 个 源 文件 中 ， 
或 隶属 于 哪 一 个 软件 包 ;， 开 发 简历 : 模块 设计 者 ， 复 审 者 ， 复 审 日 期 ， 修 改 日 期 及 有 关 
说 明 等 。 

功能 性 注释 垦 在 淘 程 序 体 中 ， 用 以 描述 其 后 的 语句 或 程序 段 是 在 做 什么 工作 ， 或 是 
执行 了 下 面 的 语句 会 怎么 样 。 而 不 要 解释 下 面 怎 么 做 。 要 点 : 描述 一 段 程序 ， 而 不 是 每 
一 个 语句 ， 用 缩 进 和 空 行 ， 使 程序 与 注释 容易 区 别 ; 注释 要 正确 。 

@) 标准 的 书写 格式 。 视 觉 组 织 用 空格 、 空 行 和 移行 来 实现 。 恰 当地 利用 空格 ， 可 
以 突出 运算 的 优先 性 ， 减 少 编码 的 错误 ， 目 然 的 程序 段 之 间 可 用 空 行 隔 开 ， 移行 也 则 做 
向 右 缩 格 。 它 是 指 程序 中 的 各 行 不 必 都 在 左 端 对 齐 ， 都 从 第 一 格 起 排列 ， 这 样 做 使 程序 
”完全 分 不 消 层次 关系 。 对 于 选择 语句 和 循环 语句 ， 把 其 中 的 程序 段 语句 向 右 作 阶梯 式 移 
行 。 使 程序 的 逻辑 结构 更 加 清晰 。 

。 数据 说 明 。 / 

在 设计 阶段 已 经 确定 了 数据 结构 的 组 织 及 其 复杂 性 。 在 编写 程序 时 ， 则 需要 注意 数 
据说 明 的 风格 。 为 了 使 程序 中 数据 说 明 更 易于 理解 和 维护 ， 必 须 注意 以 下 几 点 。 

QD 数据 说 明 的 次 序 应 当 规 范 化 。 数 据说 明 次 序 规范 化 ， 使 数据 属性 容易 查找 ， 也 
有 利于 测试 ， 排 错 和 维护 。 原 则 上 ， 数 据说 明 的 次 序 与 语法 无 关 ， 其 次 序 是 任意 的 。 但 
出 于 阅读 、 理 解 和 维护 的 需要 ， 最 好 使 其 规范 化 ， 使 说 明 的 先后 次 序 固定 。 

@ 说 明 语 句 中 变量 安排 有 序 化 。 当 多 个 变量 名 在 一 个 说 明 语句 中 说 明 时 ， 应 当 对 
这 些 变量 按 字母 的 顺序 排列 。 带 标号 的 全 程 数 据 也 应 当 按 字母 的 顺序 排列 。 
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@ 使 用 注释 说 明 复杂 数据 结构 。 如 果 设 计 了 一 个 复杂 的 数据 结构 ; 应 当 使 用 注释 
来 说 明 在 程序 实现 时 这 个 数据 结构 的 固有 特点 。 

。 语句 结构 。 

在 设计 阶段 确定 了 软件 的 逻辑 流 结构 ， 但 构造 单个 语句 则 是 编码 阶段 的 任务 。 语 句 
构造 力求 简单 、 直 接 ， 不 能 为 了 片面 追求 效率 而 使 语句 复杂 化 。 

比如 : 在 一 行内 只 写 一 条 语句 ， 程 序 编写 首先 应 当 考 虑 清晰 性 ， 程 序 要 能 直截了当 
地 说 明 程序 员 的 用 意 ， 除非 对 效率 有 特殊 的 要 求 ， 程 序 编写 要 做 到 清晰 第 一 ， 效 率 第 二 ， 
不 要 为 了 追求 效率 而 丧失 了 清晰 性 ， 首 先 要 保证 程序 正确 ， 然 后 才 要 求 提高 速度 ， 反 过 
来 说 ， 在 使 程序 高 速 运行 时 ， 首 先 要 保证 它 是 正确 的 ， 避 免 使 用 临时 变量 而 使 可 读 性 下 
降 ， 对 编译 程序 做 简单 的 优化 ， 尽 可 能 使 用 库 函 数 ， 避 免 不 必 要 的 转移 ， 尽 量 采用 基本 
的 控制 结构 来 编写 程序 ， 避 免 采 用 过 于 复杂 的 条 件 测试 ， 尽 量 减少 使 用 “否定 ”条 件 的 
条 件 语句 ; 尽 可 能 用 通俗 易 懂 的 伪 码 来 描述 程序 的 流程 , 然后 再 翻译 成 必须 使 用 的 语言 ; 
数据 结构 要 有 利于 程序 的 简化 ; 程序 要 模块 化 ， 使 模块 功能 尽 可 能 单一 化 ， 模 块 间 的 看 
合 能 够 清晰 可 见 ， 利 用 信息 隐蔽 ， 确 保 每 一 个 模块 的 独立 性 ， 从 数据 出 发 去 构造 程序 ; 
不 要 修补 不 好 的 程序 ， 要 重新 编写 。 

。 输入 和 输出 z 

输入 和 输出 信息 是 与 用 户 的 使 用 直接 相关 的 。 输 入 和 输出 的 方式 和 格式 应 当 尽 可 能 
方便 用 户 的 使 用 。 一 定 要 避免 因 设计 不 当 给 用 户 带 来 的 麻烦 。 因 此 ， 在 软件 需求 分 析 阶 
段 和 设计 阶段 ， 就 应 基本 确定 输入 和 输出 的 风格 。 系 统 能 否 被 用 户 接受 ， 有 时 就 取决 于 
输入 和 输出 的 风格 。 输 入 /输出 风格 还 受到 许多 其 他 因素 的 影响 。 如 输入 /输出 设备 ( 终 
端的 类 型 ， 图 形 设备 ， 数 字 化 转换 设备 等 )、 用 户 的 熟练 程度 以 及 通信 环境 等 。 不 论 是 批 
处 理 的 输入 /输出 方式 ， 还 是 交互 式 的 输入 /输出 方式 ， 在 设计 和 程序 编码 时 都 应 考虑 下 
列 原则 。 

Q@ 对 所 有 的 输入 数据 都 要 进行 检验 ， 识 别 错误 的 输入 ， 以 保证 每 个 数据 的 有 效 性 ; 

@ 检查 输入 项 的 各 种 重要 组 合 的 合理 性 ， 必 要 时 报告 输入 状态 信息 : 

@ 使 输入 的 步骤 和 操作 尽 可 能 简单 ， 并 保持 简单 的 输入 格式 ; 

@ 输入 数据 时 ， 应 允许 使 用 自由 格式 输入 : 

@ 应 允许 缺 省 值 ， 

输入 一 批 数据 时 ， 最 好 使 用 输入 结束 标志 ， 而 不 要 由 用 户 指定 输入 数据 数目 ; 

@ 在 交互 式 输入 时 ， 要 在 屏 故 上 使 用 提示 符 ， 明 确 提示 交互 输入 的 请 求 ， 指 明 可 
使 用 选择 项 的 种 类 和 取 值 范围 。 同 时 ， 在 数据 输入 的 过 程 中 和 输入 结束 时 ， 也 要 在 屏 著 
上 给 出 状态 信息 ; 

当 程序 设计 语言 对 输入 /输出 格式 有 严格 要 求 时 ， 应 保持 输入 格式 与 输入 语句 要 
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求 的 一 致 性 ; 

@ 给 所 有 的 输出 加 注解 ， 并 设计 输出 报表 格式 。 

3. 开发 阶段 

(1)》 单元 测试 

单元 测试 又 称 模块 测试 ， 是 针对 软件 设计 的 最 小 单位 一 一 程序 模块 ， 进 行 正 确 性 检 
验 的 测试 工作 。 其 目的 在 于 发 现 各 模块 内 部 可 能 存在 的 各 种 差错 。 单 元 测试 需要 从 程序 
的 内 部 结构 出 发 设计 测试 用 例 。 多 个 模块 可 以 平行 地 独立 进行 单元 测试 。 

。 单元 测试 的 内 容 。 

在 进行 单元 测试 时 ， 测 试 者 需要 依据 详细 设计 说 明 书 和 源 程序 清单 ， 了 解 该 模块 的 
IO 条 件 和 模块 的 逻辑 结构 ， 主 要 采用 白 盒 测试 的 测试 用 例 ， 辅 之 以 黑 盒 测试 的 测试 用 
例 ， 使 之 对 任何 合理 的 输入 和 不 合理 的 输入 ， 都 能 鉴别 和 响应 。 这 要 求 对 所 有 的 局 部 的 
和 全 局 的 数据 结构 、 外 部 接口 和 程序 代码 的 关键 部 分 ， 都 要 进行 桌面 检查 和 严格 的 代码 
审查 。 

在 单元 测试 中 进行 的 测试 工作 如 图 2-9 所 示 , 需要 在 五 个 方面 对 所 测 模块 进行 检查 。 


2-9 ”单元 测试 的 工作 


QW 模块 接口 测试 。 . 

在 单元 测试 的 开始 ， 应 对 通过 所 测 模块 的 数据 流 进 行 测试 。 如 果 数 据 不 能 正确 地 输 
入 和 输出 ， 就 谈 不 上 进行 其 他 测试 。 为 此 ， 对 模块 接口 可 能 需要 如 下 的 测试 项 目 ， 调 用 
所 测 模块 时 的 输入 参数 与 模块 的 形式 参数 在 个 数 、 属 性 、 顺 序 上 是 否 匹 配 ， 所 测 模块 调 
用 子 模块 时 ， 它 输入 给 子 模块 的 参数 与 子 模块 中 的 形式 参数 在 个 数 、 属 性 、 顺 序 上 是 否 
匹配 ; 是 否 修改 了 只 作 输 入 用 的 形式 参数 ， 输 出 给 标准 函数 的 参数 在 个 数 、 属 性 、 顺 序 
上 是 否 正 确 ， 全 局 量 的 定义 在 各 模块 中 是 否 一 致 ， 限 制 是 否 通过 形式 参数 来 传送 。 

当 模 块 通过 外 部 设备 进行 输入 /输出 操作 时 ， 必 须 附 加 如 下 的 测试 项 目 : 文件 属性 是 
否 正 确 ; OPEN 语句 与 CLOSE 语句 是 否 正 确 ; 规定 的 IO 格式 说 明 与 WO 语句 是 否 匹 配 ; 
缓冲 区 容量 与 记录 长 度 是 否 匹 配 ， 在 进行 读 写 操作 之 前 是 否 打 开 了 文件 ， 在 结束 文件 处 
理 时 是 否 关 闭 了 文件 ， 正 文书 写 /输入 错误 ， 以 及 IO 错误 是 否 检查 并 做 了 处 理 。 


克 
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凶 局 部 数据 结构 测试 。 

模块 的 局 部 数据 结构 是 最 常见 的 错误 来 源 ， 应 设计 测试 用 例 以 检查 以 下 各 种 错误 : 
不 正确 或 不 一 致 的 数据 类 型 说 明 ; 使 用 尚未 赋值 或 尚未 初始 化 的 变量 ， 错误 的 初始 值 或 
错误 的 缺 省 值 ， 变 量 名 拼写 错 或 书写 错 ; 不 一 致 的 数据 类 型 。 可 能 的 话 ， 除 局 部 数据 之 
外 的 全 局 数据 对 模块 的 影响 也 需要 查 清 。 

@ 路 径 测试 。 

由 于 通常 不 可 能 做 到 穷 举 测试 ， 所 以 在 单元 测试 期 间 要 选择 适当 的 测试 用 例 ， 对 模 
块 中 重要 的 执行 路 径 进 行 测试 。 应 当 设 计 测试 用 例 查找 由 于 错误 的 计算 、 不 正确 的 比较 
或 不 正常 的 控制 流 而 导致 的 错误 。 对 基本 执行 路 径 和 循环 进行 测试 ， 可 以 发 现 大 量 的 路 
径 错误 。 

稍 见 的 不 正确 计算 有 : 运算 的 优先 次 序 不 正确 或 误解 了 运算 的 优先 次 序 ， 运 算 的 方 
式 错 ， 即 运算 的 对 象 彼此 在 类 型 上 不 相 容 ; 算法 错 ; 初始 化 不 正确 ; 运算 精度 不 够 ， 表 
达 式 的 符号 表示 不 正确 。 

常见 的 比较 和 控制 流 错误 有 : 不 同 数据 类 型 的 相互 比较 : 不 正确 的 逻辑 运算 符 或 优 
先 次 序 ， 因 浮 点 数 运算 精度 问题 而 造成 的 两 值 比较 不 等 ， 关系 表 达 式 中 不 正确 的 变量 和 
比较 符 ;“ 差 1” 错 ， 即 不 正确 地 多 循环 一 次 或 少 循 环 一 次 ; 错误 的 或 不 可 能 的 循环 中 止 
条 件 ， 当 遇 到 发 敬 的 迭代 时 不 能 中 止 的 循环 ， 不 适当 地 修改 了 循环 变量 等 。 

多 错误 处 理 测 试 。 

比较 完善 的 模块 设计 要 求 能 预见 出 错 的 条 件 ， 并 设置 适当 的 出 错 处 理 ， 以 便 在 一 旦 
程序 出 错时 ， 能 对 出 错 程序 重 做 安排 ， 保 证 其 逻辑 上 的 正确 性 。 这 种 出 错 处 理 也 应 当 是 
模块 功能 的 一 部 分 。 若 出 现下 列 情况 之 一 ， 则 表明 模块 的 错误 处 理 功 能 包含 有 错误 或 缺 
陷 ， 出错 的 描述 难以 理解 ， 出 错 的 描述 不 足以 对 错误 定位 ， 不 足以 确定 出 错 的 原因 ; 显 
示 的 错误 与 实际 的 错误 不 符 ; 对 错误 条 件 的 处 理 不 正确 ;在 对 错误 进行 处 理 之 前 ， 错 误 
条 件 已 经 引起 系统 的 干预 等 。 

@ 边界 测试 。 

在 边界 上 出 现 错误 是 常见 的 。 例 如 ， 在 一 段 程序 内 有 一 个 次 特 环 ， 当 到 达 第 n 次 
重复 时 就 可 能 会 出 错 。 另 外 ， 在 取 最 大 值 或 最 小 值 时 也 容易 出 错 。 因 此 ， 要 特别 注意 数 
据 流 、 控 制 流 中 刚好 等 于 、 大 于 或 小 于 确定 的 比较 值 时 出 错 的 可 能 性 。 对 这 些 地 方 要 仔 
细 地 选择 测试 用 例 ， 认 真 加 以 测试 。 

此 外 ， 如 果 对 模块 运行 时 间 有 要 求 的 话 ， 还 要 专门 进行 关键 路 径 测试 ， 以 确定 最 坏 
情况 下 和 平均 意义 下 影响 模块 运行 时 间 的 因素 。 这 类 信息 对 进行 性 能 评价 是 十 分 有 用 的 。 

虽然 模块 测试 通常 是 由 编写 程序 的 人 自己 完成 的 ， 但 是 项 目 负责 人 应 当 关 心 测试 的 
结果 。 所 有 测试 用 例 和 测试 结果 都 是 模块 开发 的 重要 资料 ， 必 须 妥善 保存 。 
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总 之 , 模块 测试 针对 的 程序 规模 较 小 ， 易 于 查 错 ; 发 现 错误 后 容易 确定 错误 的 位 置 ， 
另 于 排 错 , 同时 多 个 模块 可 以 并 行 济 试 。 做 好 模 鼎 测试 可 为 局 路 的 出 试 打下 民 好 的 基础 

。 单元 测试 的 步骤 。 

通常 单元 测试 是 在 编码 阶段 进行 的 。 在 源 程序 代码 编制 完成 ， 经 过 评审 和 验证 ， 确 
认 没有 语法 错误 之 后 ， 就 开始 进行 单元 测试 的 测试 用 例 设 计 。 利 用 设计 文档 ， 设 计 可 以 
验证 程序 功能 、 找 出 程序 错误 的 多 个 测试 用 例 。 对 于 每 一 组 输入 ， 应 有 预期 的 正确 结果 。 

模块 并 不 是 一 个 独立 的 程序 ， 在 考虑 测试 模块 时 ， 同 时 要 考虑 它 和 外 界 的 联系 ， 用 
一 些 辅 助 模块 去 模拟 与 所 测 模块 相 联 系 的 其 他 模块 。 这 些 辅 助 模块 分 为 两 种 : 

驱动 模块 (driver) 一 一 相当 于 所 测 模 块 的 主 程序 。 它 接收 测试 数据 ， 把 这 些 数 据 传 
送 给 所 测 模块 ， 最 后 再 输出 实测 结果 。 

桩 模块 (stub) 一 一 也 叫做 存根 模块 。 用 以 代替 所 测 模块 调用 的 子 模块 。 桩 模块 可 
以 做 少量 的 数据 操作 ， 不 需要 把 子 模块 所 有 功能 都 带 进来 ， 但 不 允许 什么 事情 也 不 做 。 

所 测 模块 、 与 它 相 关 的 驱动 模块 及 桩 模块 共同 构成 了 一 个 “测试 环境 "”， 如 图 2-10 
所 示 。 驱 动 模块 和 桩 模块 的 编写 会 给 测试 带 来 额外 的 开销 。 因 为 它们 在 软件 交付 时 不 作 
为 产品 的 一 部 分 一 同 交付 ， 而 且 它 们 的 编写 需要 一 定 的 工作 量 。 特 别 是 桩 模块 ， 不 能 只 
简单 地 给 出 “曾经 进入 ”的 信息 。 为 了 能 够 正确 地 测试 软件 ， 桩 模块 可 能 需要 模拟 实际 
子 模块 的 功能 ， 这 样 ， 桩 模块 的 建立 就 不 是 很 轻松 了 


图 2-10 ”单元 测试 的 测试 环境 


模块 的 内 聚 程度 高 ， 可 以 简化 单元 测试 过 程 。 如 果 每 一 个 模块 只 完成 一 种 功能 ， 则 
需要 的 测试 用 例 数目 将 明显 减少 ， 模 块 中 的 错误 也 容易 被 预测 和 发 现 。 

当然 ， 如 果 一 个 模块 要 完成 多 种 功能 ， 且 以 程序 包 〈package) 的 形式 出 现 的 也 不 少 
见 ， 这 时 可 以 将 这 个 模块 看 成 由 几 个 小 程序 组 成 。 必 须 对 其 中 的 每 个 小 程序 先进 行 单元 
测试 要 做 的 工作 ， 对 关键 模块 还 要 做 性 能 测试 。 则 人 
进行 互联 测试。 人 

“(2): 集 成 测试 

-集成 测试 也 叫做 组 装 测试 或 联合 测试 。 通 常 ， 在 单元 测试 的 基础 上 ， 需 要 将 所 有 模 
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ea Ee 

。 ”组 装 时 逢 要 考虑 的 问题 。 

Q 在 把 各 个 模块 连接 起 来 的 时 候 ， 穿 越 模块 接口 的 数据 是 否 会 丢失 ; 

@ 一 个 模块 的 功能 是 否 会 对 另 一 个 模块 的 功能 产生 不 利 的 影响 ; 

@) 各 个 子 功能 组 合 起 来 ， 能 否 达到 预期 要 求 的 父 功能 ; 

由 全 局 数据 结构 是 否 有 问题 ; z 

单个 模块 的 误差 累积 起 来 ， 是 否 会 放大 ， 以 至 达到 不 能 接受 的 程度 。 

因此 ， 在 单元 测试 的 同时 可 进行 集成 测试 ， 发 现 并 排除 在 模块 连接 中 可 能 出 现 的 问 
题 ， 最 终 构 成 要 求 的 软件 系统 。 

子 系统 的 集成 测试 称 为 部 件 测试 ， 它 所 做 的 工作 是 加 我 出 组 装 司 的 了 了 系 颖 与 系统 和 
求 规格 说 明之 间 的 不 一 致 。 

选择 什么 方式 把 模块 组 装 起 来 形成 一 个 可 运行 的 系统 ， 直接 影响 到 模块 测试 用 例 的 
形式 、 所 用 测试 工具 的 类 型 、 模 块 编号 的 次 序 和 测试 的 次 序 以 及 生成 测试 用 例 的 费用 和 
调试 的 费用 。 

e。 模块 组 装 成 为 系统 的 方式 。 

模块 组 装 成 为 系统 的 方式 有 两 种 ， 一 次 性 组 装 方式 和 增殖 式 组 装 方式 。 

Q@ 一 次 性 组 装 方式 (big bang)。 

它 是 一 种 非 增殖 式 组 装 方式 ， 也 叫做 整体 拼装 。 使 用 这 种 方式 ， 首 先 对 每 个 模块 分 
别 进行 模块 测试 ， 再 把 所 有 模块 组 装 在 一 起 进行 测试 ， 最 终 得 到 要 求 的 软件 系统 。 例 如 ， 
有 一 个 模块 系统 结构 ， 如 图 2-11 (a) 所 示 。 其 单元 测试 和 组 装 顺 序 如 图 2-11(b) 所 示 。 


图 2-11 一 次 性 组 装 方式 


在 如 图 2-11 (b》 中 ， 模块 dl，d2，d3，d4,-d5 是 对 各 个 模块 做 单元 测试 时 建立 的 
驱动 模块 ，s1，s2，s3，s4; s5 是 为 单元 测试 而 建立 的 桩 模块 。 这 种 一 次 性 组 装 方式 试 
图 在 辅助 模块 的 协助 下 ， 在 分 别 完成 模块 单元 测试 的 基础 上 ， 将 所 测 模块 连接 起 来 进行 
测试 。 但 是 由 于 程序 中 不 可 避免 地 存在 涉及 模块 间接 口 、 全 局 数据 结构 等 方面 的 问题 ， 
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所 以 一 次 试 运行 成 功 的 可 能 性 并 不 很 大 。 其 结果 是 ， 发 现 有 错误 ， 却 茫然 找 不 到 原因 。 
查 错 和 改 错 都 会 遇 到 困难 。 

@ 增殖 式 组 装 方式 。 

这 种 组 装 方式 又 称 渐 增 式 组 装 ， 是 首先 对 一 个 个 模块 进行 模块 测试 ， 然 后 将 这 些 模 
块 逐步 组 装 成 较 大 的 系统 ， 在 组 装 的 过 程 中 边 连 接 边 测试 ， 以 发 现 连 接 过 程 中 产生 的 问 
题 。 最 后 通过 增殖 逐步 组 装 成 为 要 求 的 软件 系统 。 

。 自 顶 向 下 的 增殖 方式 。 这 种 组 装 方式 是 将 模块 按 系 统 程序 结构 ， 没 控制 层次 目 

顶 向 下 进行 组 装 。 其 步骤 如 下 : 首先 以 主 模块 作为 所 测 模块 兼 驱 动 模块 ， 所 有 
直属 于 主 模块 的 下 属 模块 全 部 用 相模 块 代替 ， 对 主 模块 进行 测试 。 再 采用 深度 
优先 (如 图 2-12 所 示 为 自 项 向 下 的 增殖 方式 ) 或 广度 优先 的 策略 ， 用 实际 模块 
替换 相应 的 桩 模块 ， 再 用 桩 模块 代替 它们 的 直接 下 属 模块 ， 与 已 测试 的 模块 或 
子 系统 组 装 成 新 的 子 系统 。 然 后 ， 进 行 回归 测试 《 即 重 新 执行 以 前 做 过 的 全 部 
测试 或 部 分 测试 )， 排 除 组 装 过 程 中 引入 新 的 错误 的 可 能 。 最 后 ， 判 断 是 否 所 有 
的 模块 都 已 组 装 到 系统 中 。 是 ， 则 结束 测试 ， 否 则 ， 转 到 B 去 执行 。 


按 深 度 方 向 组 装 的 例子 


图 2-12 自 顶 向 下 的 增殖 方式 


自 项 向 下 的 增殖 方式 在 测试 过 程 中 较 早 地 验证 了 主要 的 控制 和 判断 点 。 在 一 个 功能 
划分 合理 的 程序 模块 结构 中 ， 判 断 常常 出 现在 较 高 的 层次 里 ， 因 而 ， 能 够 较 早 地 过 到 这 
种 问题 。 如 果 主 要 控制 有 问题 ， 尽 早 发 现 它 能 够 减少 以 后 的 返工 ， 这 是 十 分 必要 的 。 如 
采 选 用 按 深 度 方 网 组 装 的 方式 ， 可 以 首先 实现 和 验证 一 个 完整 的 软件 功能 ， 可 先 对 逻辑 
输入 的 分 支 进行 组 装 和 测试 ， 检 查 和 克服 潜藏 的 错误 和 缺陷 ， 验 证 其 功能 的 正确 性 ， 就 
为 其 后 对 主要 加 工分 支 的 组 装 和 测试 提供 了 保证 。 此 外 ， 功 能 可 行 性 较 早 地 得 到 证 实 ， 
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还 能 够 增强 开发 者 和 用 户 成 功 的 信心 。 
。 目 底 向 上 的 增殖 方式 。 这 种 组 装 方式 是 从 程序 模块 结构 的 最 底层 模块 开始 组 装 
和 测试 。 因 为 模块 是 自 底 向 上 进行 组 装 的 ， 对 于 一 个 给 定 层次 的 模块 ， 它 的 子 
模块 (包括 子 模块 的 所 有 下 属 模 块 ) 已 经 组 装 并 测试 完成 ， 所 以 不 再 需要 桩 模 
块 。 在 模块 的 测试 过 程 中 需要 从 子 模块 得 到 的 信息 可 以 通过 直接 运行 子 模块 得 
到 。 自 底 向 上 增殖 的 步骤 如 下 ， 首 先 由 驱动 模块 控制 最 底层 模块 的 并 行 测试 ; 
也 可 以 把 最 底层 模块 组 合成 实现 某 一 特定 软件 功能 的 焦 ， 由 驱动 模块 控制 它 进 
行 测试 。 再 用 实际 模块 代替 驱动 模块 ， 与 它 已 测试 的 直属 子 模块 组 装 成 为 子 系 
统 。 然 后 ， 为 子 系统 配备 驱动 模块 ， 进 行 新 的 测试 。 最 后 判断 是 否 已 组 装 到 达 
主 模 块 。 是 ， 则 结束 测试 ， 否则， 执行 B。 
以 如 图 2-11 〈a) 所 示 的 一 次 性 组 装 方式 系统 结构 为 例 ， 可 以 用 如 图 2-13 说 明 自 底 向 
上 组 装 和 测试 的 顺序 。 


LE LF 


图 2-13 自 底 向 上 的 增殖 方式 


。 混合 增殖 式 测试 。 自 项 向 下 增殖 的 方式 和 自 底 向 上 增殖 的 方式 各 有 优 和 缺点。 一 
般 来 讲 ， 一 种 方式 的 优点 是 另 一 种 方式 的 缺点 。 

自 顶 向 下 增殖 方式 的 缺点 是 需要 建立 桩 模块 。 要 使 柱 模 块 能 够 模拟 实际 子 模块 的 功 
能 十 分 困难 ， 因 为 ， 桩 模块 在 接收 了 所 测 模块 发 送 的 信息 后 ， 需 要 按照 它 所 代替 的 实际 
子 模块 功能 返回 应 该 回 送 的 信息 ， 这 必 将 增加 建立 桩 模块 的 复杂 度 ， 而 且 导 致 增加 一 些 
附加 的 测试 。 同 时 ， 涉 及 复杂 算法 和 真正 输入 /输出 的 模块 一 般 在 底层 ， 它 们 是 最 容易 出 
问题 的 模块 ， 到 组 装 和 测试 的 后 期 才 过 到 这 些 模块 ， 一 旦 发 现 问题 ， 就 会 导致 过 多 的 回 
归 测 试 。 而 自 项 向 下 增殖 方式 的 优点 是 能 够 较 早 地 发 现 主要 控制 方面 的 问题 。 

自 底 向 上 增殖 方式 的 缺点 是 “程序 一 直 未 能 作为 一 个 实体 存在 ， 直 到 地 后 一 个 模块 
加 上 去 后 才 形 成 一 个 实体 ”。 就 是 说 , 在 自 底 向 上 组 装 和 测试 的 过 程 中 , 对 主要 的 控制 直 
到 最 后 才 接触 到 。 这 种 方式 的 优点 是 不 需要 桩 模块 ， 而 建立 驱动 模块 一 般 比 建立 桩 模块 
容易 ， 同 时 由 于 涉及 到 复杂 算法 和 真正 输入 /输出 的 模块 最 先 得 到 组 装 和 测试 ， 可 以 把 最 
容易 出 问题 的 部 分 在 早期 解决 ,此 外 自 底 向 上 增殖 的 方式 可 以 实施 多 个 模块 的 并 行 测试 ， 
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提高 测试 效率 。 因 此 ， 通 常 是 把 以 上 两 种 方式 结合 起 来 进行 组 装 和 测试 。 

在 进行 集成 测试 时 ， 测 试 者 应 当 确定 关键 模块 ， 对 这 些 关 键 模块 及 早 进行 测试 。 关 
键 模块 至 少 应 具有 以 下 几 种 特征 之 一 : 

。 满足 某 些 软件 需求 ; 

。 在 程序 的 模块 结构 中 位 于 较 高 的 层次 〈 商 层 控制 模块 ); 

。 较 复 杂 、 较 易 发 生 错 误 ; 

。 有 明确 定义 的 性 能 要 求 。 

在 做 回归 测试 时 ， 也 应 该 集中 测试 关键 模 决 的 功能 。 

。 集成 测试 的 组 织 和 实施 。 

集成 测试 是 一 种 正规 测试 过 程 , 必须 精心 计划 , 并 与 单元 测试 的 完成 时 间 协 调 起 来 。 
在 制定 测试 计划 时 ， 应 考虑 如 下 因 系 ; 

QD 采用 何 种 系统 组 装 方法 来 进行 集成 测试 。 

名 集成 测试 过 程 中 连接 各 个 模块 的 顺序 。 

@) 模块 代码 编制 和 测试 进度 是 否 与 集成 测试 的 顺序 一 致 。 

@) 测试 过 程 中 是 否 需 要 专门 的 硬件 设备 。 

解决 了 上 述 问题 之 后 ， 就 可 以 列 出 各 个 模块 的 编制 、 测 试 计 划 表 ， 标 明 每 个 模块 单 
元 测试 完成 的 日 期 、 首 次 集成 测试 的 日 期 、 集 成 测试 全 部 完成 的 日 期 、 以 及 需要 的 测试 
用 例 和 所 期 望 的 测试 结果 。 

在 缺少 软件 测试 所 需要 的 硬件 设备 时 ， 应 检查 该 硬件 的 交付 日 期 是 否 与 集成 测试 计 
划一 致 。 例 如 ， 者 测试 需要 数字 化 仪 和 绘图 仪 ， 则 相应 的 测试 应 安排 在 这 些 设备 能 够 投 
入 使 用 之 时 ， 并 要 为 硬件 的 安装 和 交付 使 用 保留 一 段 时 间 ， 以 留 下 时 间 余 量 。 此 外 ， 在 
测试 计划 中 需要 考虑 测试 所 需 软 件 〈 驱 动 模块 、 桩 模块 、 测 试用 例 生成 程序 等 ) 的 准备 
情况 。 

。 集成 测试 完成 的 标志 。 

集成 测试 完成 的 标志 主要 有 以 下 几 项 。 

成 功 地 执行 了 测试 计划 中 规定 的 所 有 集成 测试 。 

@ 修正 了 所 发 现 的 错误 。 

”@ 测试 结果 通过 了 专门 小 组 的 评审 。 

集成 测试 应 由 专门 的 测试 小 组 来 进行 ， 测 试 小 组 由 有 经 验 的 系统 设计 人 员 和 程序 员 
组 成 。 整 个 测试 活动 要 在 评审 人 员 出 席 的 情况 下 进行 

在 完成 预定 的 集成 测试 工作 之 后 ， 测试 小 组 应 负责 对 测试 结果 进行 整理 、 分 析 ， 形 
成 测试 报告 。 测 试 报告 中 要 记录 实际 的 测试 结果 在 测试 中 发 现 的 问题 、 解 决 这 些 问题 的 
方法 以 及 解决 之 后 再 次 测试 的 结果 。 此 外 还 应 提出 目前 不 能 解决 、 还 震 要 管理 人 员 和 开 
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发 人 员 注 意 的 一 些 问题 ， 提 供 测 试 评 审 和 最 终 决策 ， 以 提出 处 理 意 见 。 

集成 测试 需要 提交 的 文档 有 集成 测试 计划 、 集 成 测试 规格 说 明和 集成 测试 分 析 报 告 。 

(3) 确认 测试 

确认 测试 的 任务 是 验证 软件 的 功能 和 性 能 及 其 他 特性 是 否 与 用 户 的 要 求 一 致 。 对 软 
件 的 功能 和 性 能 要 求 在 软件 需求 规格 说 明 中 明确 规定 。 确 认 测 试 一 般 包 括 有 效 性 测试 和 
软件 配置 复查 ， 确 认 测 试 一 般 由 独立 的 第 三 方 测试 机 构 进 行 。 

。 进行 有 效 性 测试 。 

有 效 性 测试 是 在 模拟 的 环境 下 ， 运 用 黑 盒 测试 的 方法 ， 验 证 所 测 软 件 是 否 满足 需求 
规格 说 明 书 列 出 的 需求 。 为 此 ， 和 需要 制定 测试 计划 、 测 试 步骤 以 及 具体 的 测试 用 例 。 通 
过 实施 预定 的 测试 计划 和 测试 步骤 ， 确 定 软件 的 特性 是 否 与 需求 相符 ， 确 保 所 有 的 软件 
功能 需求 都 能 得 到 满足 ， 所 有 的 软件 性 能 需求 都 能 达到 。 所 有 的 文档 都 是 正确 且 便于 使 
用 的 。 同 时 ， 对 其 他 软件 需求 ， 例 如 可 移植 性 、 可 乞 性 、 易 用 性 、 旨 容 性 、 可 维护 性 等 ， 
也 都 要 进行 测试 ， 确 认 是 否 满足 。 

在 全 部 软件 测试 的 测试 用 例 运行 完 后 ， 所 有 的 测试 结果 可 以 分 为 两 类 。 

(D 测试 结果 与 预期 的 结果 相符 。 这 说 明 软 件 的 这 部 分 功能 或 性 能 特征 与 需求 规格 
说 明 书 相符 合 ， 从 而 接受 了 这 部 分 程序 。 

@ 测试 结果 与 预期 的 结果 不 符 。 这 说 明 软 件 的 这 部 分 功能 或 性 能 特征 与 第 求 规格 
说 明 不 一 致 ， 因 此 要 为 它 提 交 一 份 问题 报告 。 

e 软件 配置 复查 。 

软件 配置 复查 的 目的 是 保证 软件 配置 的 所 有 成 分 都 齐全 ， 各 方面 的 质量 都 符合 要 
求 ， 具 有 维护 阶段 所 必须 的 细节 ， 而 且 已 经 编排 好 分 类 的 目录 。 

在 确认 测试 的 过 程 中 ， 还 应 当 严 格 遵守 用 户 手册 和 操作 手册 中 规定 的 使 用 步骤 ， 以 
便 检 查 文档 资料 的 完整 性 和 正确 性 。 

(4) 系统 测试 

系统 测试 是 将 通过 集成 测试 的 软件 ,- 作为 整个 基于 计算 机 系统 的 一 个 元 聚 ， 与 计算 
机 硬件 、 外 设 、 某 些 支持 软件 、 数 据 和 人 员 等 其 他 系统 元 素 结 合 在 一 起 ， 在 实际 或 者 模 
拟 运 行 〈《 使 用 ) 环境 下 ， 对 计算 机 系统 进行 一 系列 测试 。 

系统 测试 的 目的 在 于 通过 与 系统 的 需求 定义 作 比 较 ， 发 现 软件 与 系统 定义 不 符合 或 
与 之 矛盾 的 地 方 。 

(5) 验收 测试 

验收 测试 是 以 用 户 为 主 的 测试 。 软 件 开发 人 员 和 质量 保证 人 员 也 应 参加 。 由 用 户 参 
加 设计 测试 用 例 。 使 用 用 户 界 面 输入 测试 数据 ， 并 分 析 测 试 的 输出 结果 。 一 般 使 用 生产 
中 的 实际 数据 进行 测试 。 


www.TopSage.com 


第 2 次 软件 测试 基础 41 


目前 在 国内 实际 软件 开发 ， 特 别 是 系统 集成 的 过 程 中 ， 验 收 测试 往往 在 系统 测试 完 
成 后 、 项 目 最 终 交 付 前 进行 。 验 收 测试 的 测试 计划 、 测 试 方案 与 测试 案例 一 般 由 开发 方 
制定 ， 由 用 户 方 与 监理 方 联合 进行 评审 。 验 收 小 组 由 开发 方 、 用 户 方 、 监 理 方 代表 、 主 
管 单位 领导 及 行业 专家 构成 。 与 确认 测试 及 系统 测试 不 同 的 是 ， 验 收 测试 往往 不 是 对 系 
统 的 全 鹃 盖 测 试 ， 而 是 针对 用 户 的 核心 业务 流程 进行 的 测试 ， 同时， 测试 的 执行 人 员 也 
不 是 开发 方 的 测试 组 成 员 ， 而 是 由 用 户 方 的 使 用 人 员 完 成 。 

近年 来 ， 越 来 越 多 的 开发 方 及 用 户 方 认识 到 对 项 目 进行 最 终 验 收 测试 的 重要 意义 ， 
因此 ， 由 第 三 方 完成 的 专业 化 全 时 盖 型 技术 测试 得 到 了 广泛 应 用 。. 由 专门 从 事 测试 工作 
的 第 三 方 机 构 ， 根 据 系 统 的 需求 分 析 、 用 户 手册 、 培 训 手 册 等 ， 在 开发 人 员 及 最 终 使 用 
人 员 的 配合 下 ， 完 成 对 系统 全 面 的 测试 工作 。 

4. 软件 验证 与 确认 (V&V) 过 程 

软件 的 验证 与 确认 (V&V) 是 贯穿 软件 生命 周期 的 重要 的 质量 保证 过 程 ， 国 际 标准 
化 组 织 IEEE 在 1886 年 颁布 了 软件 V&V 标准 ， 又 于 1998 年 修订 颁布 了 .IEEE/ANSI Std 
”1012-1998 软件 验证 与 确认 计划 。 标 准 规定 了 软件 验证 和 确认 过 程 〈 简 称 V&V) 和 软件 
验证 和 确认 计划 (简称 SVVP) 编制 要 求 。 我 国 软件 验证 与 确认 〈V&V) 的 国家 标准 也 
即将 颁布 实施 ， 将 在 我 国 软件 的 质量 保证 和 软件 测试 的 工作 中 发 挥 重要 作用 。 

软件 的 V&V 过 程 是 确定 按照 规定 的 软件 过 程 开 发 的 产品 是 否 符合 活动 的 要 求 ， 软 
件 是 否 满足 它 的 预期 用 途 和 用 户 需 要 。 软 件 的 V&V 过 程 包括 软件 产品 和 过 程 的 分 析 、 
评价 、 评 审 、 审 核 、 评 估 和 测试 。 

软件 测试 活动 是 软件 V&V 过 程 的 一 个 组 成 部 分 。 软 件 测试 过 程 的 任务 与 管理 也 要 
符合 软件 V&V 过 程 的 有 关 规 定 。 下 面 重 点 介绍 软件 V&V 中 的 测试 过 程 与 管理 。 

(1) V&V 基本 概念 

。 .验证 (Verification); 通过 检查 和 提供 客观 证 据 ， 证 实 规定 的 需求 已 满足 。 

。 确认 (Validation); 通过 检查 和 提供 客观 证 据 ， 证 实 预期 用 途 的 需求 是 否 得 到 

满足 。 

e。 独立 验证 和 确认 〈IV&V Independent Verification and Validation); 由 在 技术 、 管 

理 和 财务 上 与 开发 组 织 有 规定 程度 独立 性 的 组 织 执 行 的 V&V 过 程 。 

V&V 框架 是 由 与 软件 开发 过 程 同步 的 V&V 过 程 、 各 阶段 的 V&V 活动 和 任务 组 成 
的 ， 如 图 2-14 所 示 。 

对 每 个 V&V 活动 都 规定 了 它 的 输入 、 任 务 和 输出 ， 如 图 2-15 所 示 。 

(2) 软件 V&V 过 程 

。 软件 生存 周期 的 V&V 过 程 框架 。 
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图 2-14 V&V 结构 图 2-15 V&V 活动 过 程 


整个 软件 生存 周期 的 V&V 过 程 框架 结构 描述 了 各 阶段 的 V&V 过 程 、 活 动 和 任务 的 
层次 关系 ， 如 图 2-16 所 示 。 


IEEE Std 1012-1998 软件 验证 和 确认 “V&V) 过 程 


V&V 
出 | 话 动 (2) 


V&V 活动 的 管理 与 所 有 的 V&V 活动 并 行 开 展 


图 2:16 V&V 过 程 、 活 动 和 任务 的 层次 关系 


。 软件 开发 过 程 的 V&V 概述 。 
IEEE Std 1012-1998 中 开发 过 程 的 V&V， 如 图 2-17 所 示 。 
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软件 开发 过 程 


V&V 输入 V&V 输入 V&V 输入 V&V 输入 
。 系统 需求 ”。 系统 征求 ， 。 设计 说 明 “”。 测试 计划 、 设 计 、 用 
| ” ”人 例 和 规程 
se。 第 求 说 明 。 舌 求 说 明 。 接口 设计 文档 。 设计 说 明 
。 接口 规格 说 明 。 。。 设计 说 明 。 源 代码 。 接口 设计 文档 。 
。 用 户 文档 。 接口 规格 说 明 e 编码 标准 e 源 代码 和 可 执行 代码 
。 系统 测试 计划 。 接口 设计 文档 。 用 户 文档 。 用 户 文档 
。 验收 测试 计划 。 设计 标准 。 测试 设计 /用 例 。 测试 结果 
。 SVV 配置 管理 过 程 。 测试 计划 和 设计 es。 测试 规程 ， 。 危险 分 析 报 告 
文档 
。 危险 分 析 报 告 。 用 户 文 档 。 单元 测试 结果 。 供 方 开 发 计划 和 进 
诬 安 排 
。 供 方 开发 计划 和 进 。 危险 分 析 报 告 e 危险 分 析 报 告 。 V&V 任务 结果 
度 安排 
。 V&V 任务 结果 。 供 方 开发 计划 和 进  。 供 方 开发 计划 和 进 
度 安排 度 安排 


。 V&V 任务 结果 。 V&V 任务 结果 “ 


党 求 
V&V : V&V f V&Vv 任 V&V 任 
。 可 追踪 性 分 析 。 可 追踪 性 分 析 e 可 追踪 性 分 析 。 可 追踪 性 分 析 
。 软件 需求 评价 。 软件 设计 评价 。 源 代 码 / 源 代码 文档 ”。 验收 V&V 浏 试 规 
评价 程 生成 和 验证 
。 接口 分 析 。 接口 分 析 e 接口 分 析 . e 集成 V&V 测试 执 
| ”” 行 和 验证 
。 系统 V&V 测试 计 。 部 件 V&V 测试 计划 ”。 V&V 测试 用 例 生 成 。 系统 V&V 测试 执 
划 生 成 和 验证 生成 和 验证 和 验证 行 和 验证 
。 验收 V&V 测试 计 。 集成 V&V 测试 计划 。 V&V 测试 规程 生成 
划 生 成 和 验证 生成 和 验证 和 验证 
UL 几 UL LL 
V&V V&V 输出 V&V ”V&V 输出 
。 任务 报告 。 任务 报告 e。 任务 报告 ”“ 。 任务 报告 
e 异常 报告 e 异常 报告 。 异常 报告 。 异常 报告 
。 系统 V&V 测试 计 。 部 件 /集成 V&V 测试 。 验收 V&V 测试 规程 
用 例 


。 部 件 /集成 /系统 ， 
图 2-17 软件 开发 过 程 的 V&V 
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(3) 软件 V&V 过 程 中 的 测试 

es。 测试 过 程 。 

GB/T 18905.5 中 规定 的 开发 过 程 中 的 软件 测试 过 程 包括 : 测试 计划 过 程 、 测 试 设计 
过 程 、 测 试 执行 过 程 和 测试 结束 过 程 。 如 图 2-18 所 示 。 


] 项 目 管理 。 SOA 保证 ”配置 管理 


测试 计划 过 程 测试 设计 过 程 测试 执行 过 程 测试 结束 过 程 
测试 计划 测试 说 明 测试 用 例 测试 结论 
测试 第 求 测试 方案 测试 规程 测试 报告 


图 2-18 ”软件 测试 过 程 


se。 需求 V&V 活动 中 的 测试 。 
需求 V&V 活动 中 有 两 项 测试 任务 : 系统 V&V 测试 计划 生成 和 验证 、 验 收 V&V 测 
试 计 划 生 成 和 验证 。 两 项 V&V 的 任务 、 输 入 和 输出 如 表 2-6 所 示 。 


琢 2-6 句 求 V&V 活动 中 的 测试 任务 、 输 入 和 输出 


V&V 任务 V&V 输出 
策划 系统 V&V 测试 以 确认 软件 | 。 系统 循 求 es 系统 V&V 测试 计划 
需求 | 。 需求 说 明 。 异常 报告 
策划 系统 需求 对 测试 设计 、 用 例 、 | 。 接口 规格 说 明 
ed a 他 

计划 as | 
否 遵循 项 目 规定 的 测试 文档 目的 格 | ” 系统 列 斌 计划 
系统 V&V 式 和 内 容 (参见 GB/T 9386) 
测试 计划 | 。 确认 系统 V&V 测试 计划 满足 下 列 
生成 和 准则 ， 
验证 


由 系统 需求 的 测试 报 盖 亩 

@@ 采用 测试 方法 和 标准 的 符合 性 
图 对 预期 结果 一 致 性 

系统 测试 的 可 行 性 


@ 执行 和 维护 第 求 的 可 行 性 与 可 
测 性 
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续 表 
V&V 任务 V&V 输出 
。 系统 需求 e 验收 V&V 测试 计划 
。 需求 说 明 。 异常 报告 
接口 规格 说 明 
用 户 文 档 
验收 测试 计划 


策划 验收 V&V 测试 以 确认 软件 在 
运行 环境 下 正确 实现 了 系统 和 软件 
的 需求 
策划 验收 测试 需求 对 测试 设计 、 用 
例 、 规 程 和 结果 的 追踪 
验收 V&V 验证 验收 V&V 测试 计划 的 制定 是 
测试 计划 否 遵循 项 目 规定 的 测试 文档 目的 格 
生成 和 式 和 内 容 (参见 GB/T 9386) 
验证 确认 验收 V&V 测试 计划 满足 下 列 
准则 : 
GD 系统 需求 的 测试 禾 盖 率 
凶 对 预期 结果 一 致 性 
@ 系统 测试 的 可 行 性 
@ 执行 和 维护 的 可 行 性 


。 设计 V&V 活动 中 的 测试 。 
设计 V&V 活动 中 有 三 项 测试 任务 : 单元 V&V 测试 计划 生成 和 验证 、 集 成 V&V 测 
试 计划 生 成 和 验证 与 V&V 测试 计划 生成 和 验证 。 三 项 V&V 的 任务 、 输 入 和 输出 如 
表 2-7 和 表 2-8 所 示 。 
表 2-7 设计 V&V 活动 中 的 测试 任务 、 输 入 和 输出 


V&V 任务 V&V 输出 


策划 单元 V&V 测试 以 确认 单元 正确 实 。 单元 V&V 测 
现 了 单元 的 要 求 。 任 务 准则 : 试 计 划 
Q 对 设计 要 求 的 符合 性 。 异常 报告 


@ 功能 和 逻辑 的 符合 性 
@ 模块 的 性 能 
@ 边界 、 接 口 、 出 错 
。 策划 设计 需求 对 测试 设计 、 用 例 、 规 程 
和 结果 的 追踪 
。 验证 单元 V&V 测试 计划 的 制定 是 洛 遵 
循 项 目 规定 的 测试 文档 目的 格式 和 内 容 
(参见 GB/T 9386) 
。 确认 单元 V&V 测试 计划 满足 下 列 准则 ， 
(D 对 软件 需求 和 设计 的 可 追踪 
@ 对 软件 需求 和 设计 的 外 部 一 致 性 
@@ 单元 需求 件 间 的 内 部 一 致 性 


单元 生成 
V&V 测试 计 
划 生 成 和 验证 
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单元 生成 
V&V 测试 计 
划 生 成 和 验证 


集成 V&V 测 


试 计划 生成 | 


和 验证 


V&V 
测试 设 
计生 成 


软件 评测 师 教 程 


V&V 任务 
@ 每 个 单元 的 需求 测试 入 盖 率 
名 软件 集成 和 测试 的 可 行 性 
运行 和 维护 的 可 行 性 
策划 集成 V&V 测试 以 确认 软件 正确 地 
实现 了 软件 需求 和 设计 。 任 务 准则 ， 
Q 对 每 个 集成 阶段 逐渐 增 大 功能 需求 
的 一 至 性 
包 边界 和 强度 条 件 下 的 性 能 
@ 湖 求 测试 覆盖 率 


| va&v 输 入 


策划 设计 需求 对 测试 设计 、 用 例 、 规 程 | ， 


和 结果 的 追踪 
验证 集成 V&V 测试 计划 的 制定 是 否 遵 
循 项 目 规定 的 浏 试 文档 目的 格式 和 内 容 


(人 参见 GB/T 9386) 


确认 集成 V&V 测试 计划 满足 下 列 准 则 : 


(D 系统 需求 的 可 追踪 性 

包 系统 街 求 的 外 部 和 内 部 一 致 性 
@ 软件 的 需求 测试 粗 盖 这 

元 测试 标准 和 方法 的 合适 性 

@ 软件 合格 性 测试 的 可 能 性 

@ 运行 和 维护 的 可 行 性 


惠 2-8 设计 V&V 活动 中 的 测试 任务 、 输 入 和 输出 ( 续 ) 


V&V 任务 
设计 如 下 测试 
(D 单元 测试 
名 集成 测试 
加 系统 名 试 
由 验收 测试 


一 系列 V&V 测试 计划 要 求 的 追踪 
验证 V&V 测试 计划 的 制定 是 否 遵循 项 
目 规定 的 测试 文档 目的 格式 和 内 容 ( 参 
见 GB/T 9386) 

确认 V&V 测试 设计 满足 V&V .的 下 列 
任务 : 


| va&v 输 入 
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V&V 输出 


。 集成 V&V 测 
试 计划 


”| 。 异常 报告 


V&V 输出 
单元 V&V 测试 计划 
集成 V&V 测试 计划 
系统 V&V 测试 计划 
验收 V&V 测试 计划 
异常 报告 
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续 表 


Q@ 单元 V&V 测试 计划 生成 和 验证 


et @ 集成 V&V 测试 计划 生成 和 验证 
计生 成 @ 系统 V&V 测试 计划 生成 和 验证 
和 验证 | 。 @ 验收 V&V 测试 计划 生成 和 验证 相关 


测试 的 各 自 的 准则 


。 实现 V&V 活动 中 的 测试 。 

实现 V&V 活动 中 有 三 项 测试 任务 ，V&V 测试 用 例 生成 和 验证 、V&V 测试 规程 生 
成 和 验证 以 及 部 件 V&V 测试 计划 执行 和 验证 。 三 项 V&V 的 任务 、 输 入 和 输出 如 表 2-9 
所 示 。 z 


家 2-9 实现 V&V 活动 中 的 测试 任务 、 输 入 和 输出 


V&V 任务 V&V 输出 
开发 如 下 测试 用 例 : 。 需求 说 明 | 。 单元 V&V 测试 用 例 
(D 单元 测试 e 接口 规格 说 明 | 。 集成 V&V 测试 用 例 
@ 集成 测试 。 设计 说 明 ”| 。 系统 V&V 测试 用 例 
@ 系统 测试 。 接口 设计 文档 | 。 验收 V&V 测试 用 例 
@ 验收 测试 。 用 户 文档 。 异常 报告 
。 一 系列 V&V 测试 用 例 要 求 的 追踪 。 测试 设计 
V&V | 。 验证 V&V 测试 用 例 的 制定 是 否 遵循 | 。 测试 用 例 
测试 用 | 。 项 目 规定 的 测试 文档 目的 格式 和 内 容 
例 生成 《例如 GB/T 9386 ) 
和 验证 | 。 确认 V&V 测试 设计 满足 V&V 的 下 列 
| 任务 : 
@ 单元 V&V 测试 计划 生成 和 验证 
加 集成 V&V 测试 计划 生成 和 验证 
@ 系统 V&V 测试 计划 生成 和 验证 
@ 验收 V&V 测试 计划 生成 和 验证 相 
关 测试 的 各 自 的 准则 
V&V 开发 如 下 测试 规程 : 。 希 求 说 明 。 单元 V&V 测试 规程 
测试 规 | 。”.@ 单元 测试 “ 。 接口 规格 说 明 | 。 集成 V&V 测试 规程 
程 生成 | 。 @ 集成 测试 | 。 设计 说 明 。 ”| 。 系统 V&V 测试 规程 
和 验证 | 。 @ 系统 测试 。 接口 设计 文档 | 。 异常 报告 
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V&V 
测试 规 


程 生成 | 


和 验证 


单元 
V&V 


测试 执 
行 和 | 


验证 
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V&V 任务 
由 验收 测试 
一 系列 V&V 测试 规程 要 求 的 追踪 


验证 V&V 测试 规程 的 制定 是 否 遵循 


项 目 规定 的 测试 文档 目的 格式 和 内 容 
(参见 GB/T 9386) 


确认 V&V 测试 规程 满足 V&V 的 下 列 
任务 : 

单元 V&V 测试 计划 生成 和 验证 
加 集成 V&V 测试 计划 生成 和 验证 
图 系统 V&V 测试 计划 生成 和 验证 


由 验收 V&V 测试 计划 生成 和 验证 相 


关 测 试 的 各 自 的 准则 
执行 单元 V&V 测试 
分 析 测 试 结果 以 确认 软件 正确 实现 了 
设计 
确认 测试 结果 可 追踪 到 在 测试 计划 文 
档 中 规定 的 测试 准则 


技 单元 V&V 测试 计划 的 要 求 记录 
结果 

使 用 单元 V&V 测试 结果 确认 软件 满 
是 了 V&V 测试 验收 谁 则 


记录 实际 的 和 预期 的 测试 结果 间 的 | 


差 并 


(4) 软件 测试 V&V 活动 


测试 V&V 活动 覆盖 了 集成 测试 、 系 统 测 试 和 验收 测试 。 测试 V&V 活动 及 它 与 软件 
生存 期 的 关系 如 图 2-19 所 示 。V&V 的 目标 是 确保 通过 执行 集成 测试 、 系 统 测试 和 验收 


源 代 码 
可 执行 代码 
设计 说 明 
接口 设计 文档 
| 。 单元 测试 计划 


单元 测试 规程 
单元 测试 结果 


测试 使 软件 本 求 和 分 配给 软件 的 系统 需求 得 到 满足 。 


测试 的 V&V 工作 应 生成 目 己 的 V&V 测试 件 〈 包 括 计划 、 设 计 、 用 例 和 规程 )， 执 
行 并 记录 自己 的 测试 ， 并 对 照 软件 需求 验证 测试 计划 、 设 计 、 用 例 、 规 程 和 结果 ; 测试 
的 V&V 工作 应 验证 测试 活动 和 测试 件 〈 包 括 计 划 、 设 计 、 用 例 、 规 程 和 执行 结果 )。 测 


续 表 
V&V 输出 


| 。 对 任务 报告 测试 


结果 
。 异常 报告 


试 V&V 活动 的 任务 、 输 入 与 输出 的 关系 如 表 2-10 和 表 2-11 所 示 。 
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单元 V&V 人 和 
:V&V 测试 计划 i 会 : 

iv&v 测 试 仙 | 全 省 

: V&V 测试 用 例 ; : 证 


i V&V 测试 规程 : : i . 可 


ffeees 式 oo 让 CD TD TS LD LD LL Tb LTD bd bd ed | 


:V&V 浊 i : 

iV&V 测试 设计 : 全 ， 

:V&V 测试 用 例 ; : 会 En 
:V&V 测试 规 查 : 1 会 和 
:V&V 神 试 执 村 和 入 rotonsrtinta0 1 


本 
本 a 
| 站 
| Pevereorerasanaanonononoror0tom ECLEELELEI LI Lb bd dd 中 (TY YY LE LI LL LL LL hd hd hh | Bhs dh sla ld bold Bh 2 
. Ld ~ 中 
ed 性 » 


到 V&V 一 试 产品 可 任务 


V&V 网 试 计划 
: V&V 测试 设计 : 
V&V 测试 用 例 : 


V&V 测试 地 各 有 站 


we TTT SD Dob be Dod ods beds be Doh bg bedded dd ntti 


ue Ma i 


vav 汪汪 计划 
:V&V 测试 设计 ; 会: 于 
V&V 济 试 用 例 ”1 i 0 
V&V YY 测试 执行 和 监生 本 


“图 2.19_V&v 测试 产品 和 测试 执行 任务 的 时 段 图 
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表 2-10 测试 V&V 活动 中 的 测试 任务 、 输 入 和 输出 


Vav ET 
分 析 在 V&V 测试 计划 、 设 计 、 用 例 、 规 | 。 V&V 测试 计划 es 任务 报告 一 一 


| 程 中 的 正确 性 和 完备 性 的 关系 | 。 V&V 测试 设计 可 追踪 性 分 析 
踪 |。 对 于 正确 性 , 验证 V&V 测试 计划 ,设计 、| 。 V&V 测试 规程 报 和合 
全 | ” 用例、 规程 间 关 系 的 有 效 性 | 。 异常 报告 
析 | 。 对 于 完备 性 , 验证 所 有 V&V 测试 规程 可 | 
追踪 到 测试 计划 | 
验 | 。 制定 验收 V&V 测试 规程 |。 设计 说 明 。 验收 V&V 测试 
收 | 。 一 系列 关于 验收 V&V 测试 计划 要 求 的 | 。 接口 规格 文档 | “规程 
过 | ”追踪 。 用 户 文档 。 异常 报告 
2 。 验证 验收 V&V 测试 规程 的 制定 是 否 遵 | 。 验收 测试 计划 
试 第 项 目 规定 的 测试 文档 目的 格式 和 内 容 | 。 验收 测试 规程 
人 (参见 GB/T 9386) 
生 | e 确认 验收 V&V 测试 规程 满足 验收 V&V 
测试 计划 生成 和 验收 任务 的 准则 
验 
证 
网 执行 集成 V&V 测试 ， 源 代 码 | 。 任务 报告 一 一 
成 分 析 测 试 结 果 以 验证 软件 单元 是 否 正确 | 。 可 执行 代码 测试 结果 
襄 | 集成 验收 测试 计划 。 异 贡 报告 
而 确认 测试 结果 可 追踪 到 在 测试 计划 文档 集成 测试 规程 
试 | 中 规定 的 测试 准则 你 成 测试 结果 
的 |。 技 集成 V&V 测试 计划 的 要 求 记录 结果 
和 使 用 集成 V&V 测试 结果 确认 软件 是 否 
各 满足 V&V 测试 验收 准则 
记录 实际 的 和 预期 的 测试 结果 间 的 差异 
执行 系统 V&V 测试 源 代码 。 任务 报告 一 一 
分 析 测试 结果 以 确认 软件 是 否 消 足 系统 | 。 可 执行 代码 ”测试 结果 
需求 


系统 测试 计划 |。 异常 报告 
系统 测试 结果 


确认 剖 试 结果 可 追踪 到 在 测试 计划 文档 | 
中 规定 的 测试 准则 

技 系 统 V&V 测试 计划 的 要 求 记录 结果 
使 用 系统 V&V 测试 结果 确认 软件 是 否 
满足 V&V 测试 验收 准则 

记录 实际 的 和 了 预 期 的 测试 结果 间 的 差 弄 


耳 际 兴 站 外 志 洲 和 人 ”3A 滞洪 
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家 2-11 测试 V&V 活动 中 的 测试 任务 、 输 入 和 输出 〈 续 ) 


供 方 开发 计划 和 | 。 任务 报告 一 一 
进度 安排 风险 分 析 报 告 
危险 分 析 报 告 ”| 。 异常 报告 
V&V 任务 结果 


使 用 先前 的 任务 报告 评审 和 更 新 风险 分 析 为 
消除 、 降 低 和 绥 解 风险 提供 建议 


V&V 任务 .V&V 输出 
z 执行 验收 V&V 测试 z 源 代 码 ” 。 任务 报告 一 一 . 
: 分 析 测 试 结果 以 确认 软件 是 否 满足 系统 | 。 可 执行 代码 测试 结果 
需求 用 户 文档 。 异常 报告 
确认 测试 结果 可 追踪 到 在 测试 计划 文档 | 。 验收 测试 计划 
i 中 规定 的 测试 准则 验收 测试 规程 
按 验 收 V&V 测试 计划 的 要 求 记录 结果 验收 测试 结果 
使 用 验收 V&V 测试 结果 确认 软件 是 否 满 z 
足 V&V 测试 验收 准则 
全 记录 实际 的 和 预期 的 测试 结果 间 的 差异 
外 。 | 验证 测试 设施 没有 引进 新 的 风险 ， 更 新 危险 。 任务 报告 一 一 
险 | 分析 危险 分 析 报 千 
分 。 异常 报告 
入 
风 
险 
分 
析 


2.8 软件 失效 分 类 与 管理 


2.8.1 软件 失效 分 类 


软件 测试 使 用 各 种 术语 描述 软件 出 现 的 问题 ， 通 用 的 术语 如 下 : 

。 软件 错误 〈software error)。 

e 软件 缺陷 〈software defect)。 

。 软件 故障 〈software fault)。 

。 软件 失效 〈software failure )。 

区 分 这 些 术 语 的 概念 很 重要 ， 它 关系 到 测试 工程 师 对 软件 失效 现象 与 机 理 的 深刻 理 
解 ， 而 这 些 概念 常常 在 文献 中 被 混淆 。 本 书 将 根据 国际 经 典 软件 测试 论著 ， 对 软件 失效 
的 机 理 进 行 阐述 。 

由 于 软件 内 部 逻辑 复杂 ， 运 行 环 境 动态 变化 ， 且 不 同 的 软件 差异 可 能 很 大 ， 因 而 软 
件 失效 机 理 可 能 有 不 同 的 表现 形式 。 但 总 的 说 来 ， 人 软件 错误 一 
软件 缺陷 一 软件 故障 一 软件 失效 。 

”QD 软件 错误 ， 在 可 以 预见 的 时 期 内 ， 软 件 仍 将 由 人 来 开发 。 在 整个 软件 生存 期 的 各 
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个 阶段 ， 都 贯穿 着 人 的 直接 或 间接 的 和 干预。 然而, 人 难免 犯错 误 ， 这 必然 给 软件 留 下 不 和 良 
的 痕迹 。 软 件 错误 是 指 在 软件 生存 期 内 的 不 希望 或 不 可 接受 的 人 为 错误 ， 其 结果 是 导致 软 
件 缺 陷 的 产生 。 可 见 ， 软 件 错误 是 一 种 人 为 过 程 ， 相 对 于 软件 本 身 ， 是 一 种 外 部 行为 。 

加 软件 缺陷 ， 软 件 缺 陷 是 存在 于 软件 〈 文 档 、 数 据 、 程 序 ) 之 中 的 那些 不 希望 或 
不 可 接受 的 偏差 ， 如 少 一 逗 点 、 多 一 语句 等 。 其 结果 是 软件 运行 于 某 一 特定 条 件 时 出 现 
软件 故障 ， 这 时 称 软件 缺陷 被 激活 。 

包 软件 故障 : 软件 故障 是 指 软 件 运行 过 程 中 出 现 的 一 种 不 希望 或 不 可 接受 的 内 部 
状态 。 敬 如， 软件 处 于 执行 一 个 多 余 循 环 过 程 时 ， 我 们 说 软件 出 现 故 障 。 此 时 若 无 适 当 
措施 容错) 加 以 及 时 处 理 ， 便 产生 软件 失效 。 显 然 ， 软 件 故障 是 一 种 动态 行为 。 

@ 软件 失效 ; 软件 失效 是 指 软件 运行 时 产生 的 一 种 不 希望 或 不 可 接受 的 外 部 行为 
结果 。 

综 上 所 述 , 软件 错误 是 一 种 人 为 错误 。 一 个 软件 错误 必定 产生 一 个 或 多 个 软件 缺陷 。 
当 一 个 软件 缺陷 被 激活 时 , 使 产生 一 个 软件 故障 ; 同一 个 软件 缺陷 在 不 同 条 件 下 被 激活 ， 
可 能 产生 不 同 的 软件 故障 。 软 件 故 障 如 果 没 有 及 时 的 容错 措施 加 以 处 理 ， 便 不 可 避免 地 
导致 软件 失效 ; 同一 个 软件 故障 在 不 同 条 件 下 可 能 产生 不 同 的 软件 失效 。 

在 软件 生存 期 中 存在 和 产生 形形色色 的 软件 错误 、 缺陷 、 故 障 和 失效 。 不 同 的 软件 ， 
其 错误 、 缺 陷 、 故 障 和 失效 无 论 在 表现 形式 、 性 质 乃 至 数量 上 都 可 能 大 不 相同 ， 试 图 对 
它们 作 一 个 全 面 而 详细 的 阐述 是 不 现实 的 ， 所 以 有 必要 加 以 区 别 对 待 。 关 于 “错误 ”的 
广义 定义 是 ;不 正确 的 事务 和 行为 。 在 1999 年 ( 美 ) John D. Musa 的 《软件 可 靠 性 工 
程 》 书 中 ， 关 于 “软件 错误 ”是 这 样 描述 的 :“ 错 误 是 在 系统 运行 时 ， 引 起 或 可 能 潜在 地 
引起 失效 的 缺陷 ， 是 一 种 面向 开发 的 概念 。” 例 如 ， 当 用 户 单 击 某 个 具体 的 菜单 时 ， 本 应 
在 屏幕 上 出 现 特定 的 对 话 框 ， 但 是 却 没有 出 现 。 这 种 行为 就 是 一 个 失效 。 造 成 这 种 失效 
的 错误 可 能 是 遗漏 代码 。 这 里 给 出 的 定义 是 “电气 与 电子 工程 师 协 会 (IEEE)” 和 “ 美 
国标 准 协会 (ASA)” 的 标准 ， 是 通过 引起 失效 和 错误 的 系统 成 分 ， 来 定义 失效 和 错误 
的 。 这 些 成 分 一 般 是 硬件 、 软 件 和 人 。 

John D. Musa 在 1999 年 对 软件 错误 的 定义 是 : 软件 错误 是 代码 中 的 缺陷 ， 是 由 错 
误 引 起 的 ， 是 由 一 个 或 多 个 人 的 不 正确 或 遗漏 行为 造成 的 。 例 如 ， 系 统 工 程 师 在 定义 需 
求 时 可 能 会 犯错 误 ， 从 而 导致 代码 错误 ， 而 代码 错误 又 导致 在 一 定 条 件 下 执行 系统 时 出 
现 失效 。“ 缺 陷 ” 是 指 欠 缺 或 不 够 完备 的 地 方 。 软件 的 欠 侠 和 不 完备 主要 是 针对 产品 说 明 
书 而 言 的 。2001 年 ( 美 ) Ron Patten 著 的 《软件 测试 》 一 书 对 软件 缺陷 进行 了 定义 。 技 
照 一 般 定义 ,只 要 软件 出 现 的 问题 符合 下 列 5 种 情况 的 任何 一 种 ,就 叫做 软件 缺陷 :GD 软 
件 未 达到 产品 说 明 书 中 标明 的 功能 ;，@ 软件 出 现 了 产品 说 明 书 中 指明 的 不 会 出 现 的 错 
误 ! @ 软件 功能 超出 了 产品 说 明 书 指明 的 范围 ，@ 软件 未 达到 产品 说 明 书 虽 未 指出 但 
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应 达到 的 目标 ; @ 软件 测试 人 员 认 为 软件 难以 理解 、 不 易 使 用 、 运 行 速度 慢 ， 或 最 终 用 
户 认为 不 好 使 用 。 实 践 表 明 ， 大 多 数 软件 缺陷 产生 的 原因 并 非 源 自 编程 错误 ， Es 
于 产品 说 明 书 的 编写 和 产品 方案 设计 。 

产品 说 明 书 成 为 软件 缺陷 的 罪魁 祸首 ， 是 因为 产品 说 明 书 编写 得 不 全 面 、 不 完整 和 
不 准确 ， 而 且 经 常 更 改 ， 或 者 整个 开发 组 没有 很 好 地 沟通 和 理解 。 这 也 就 是 出 自 于 软件 
需求 说 明 书 本 身 的 问题 ， 或 开发 人 员 对 需求 说 明 书 的 理解 与 沟通 不 足 。 
软件 缺陷 的 第 二 大 来 源 是 设计 方案 ， 也 就 是 软件 设计 说 明 书 。 这 是 程序 员 开 展 软 件 
计划 和 构架 的 地 方 ， 就 像 建筑 师 为 建筑 物 绘制 蓝图 一 样 。 这 里 产生 软件 缺陷 的 原因 与 产 
品 说 明 书 或 需求 说 明 书 是 一 样 的 ， 片 面 、 多 变 、 理 解 与 沟通 不 足 。 

总 之 ， 软 件 缺 陷 是 开发 的 软件 与 软件 需求 说 明 书 、 设 计 说 明 书 的 不 一 致 ， 软 件 的 实现 
未 满足 应 达到 目标 的 用 户 潜在 需求 。 故 障 是 指 一 个 实体 发 生 障碍 和 毛病 。 软 件 故 障 在 ISO 
14598 软件 产品 评价 标准 中 的 定义 是 ， 计 算 机 程序 中 的 不 正确 的 步骤 、 过 程 或 数据 定义 。 

软件 故障 是 指 软 件 运 行 过 程 中 出 现 的 一 种 不 希望 或 不 可 接受 的 内 部 状态 ， 软 件 出 现 故 
障 若 无 适当 措施 (容错) 加 以 及 时 处 理 , 便 产生 软件 失效 。 显然 , 软件 故障 是 一 种 动态 行为 。 

在 软件 设计 和 编程 过 程 中 ， 花 费 很 大 的 精力 确保 软件 系统 能 从 各 种 故障 导致 的 失效 
中 恢复 。 当 遇 到 软件 出 现 故障 时 ,系统 不 能 像 软件 设计 和 用 户 要 求 那样 ; 运行 而 导致 失效 ， 
就 需要 有 故障 恢复 措施 ， 以 保证 故障 恢复 后 的 继续 执行 。 软 件 失 效 是 系统 行为 对 用 户 要 
求 的 偏离 ， 是 一 种 面向 用 户 的 概念 。 这 就 是 说 ， 失 效 意味 着 系统 的 运行 。 只 有 在 执行 程 
序 过 程 中 才 会 发 现 软件 失效 ， 发 现 的 潜在 失效 可 以 是 设计 审查 、 代 码 阅 读 和 其 他 方法 产 
生 的 结果 。 有 的 项 目 组 还 把 文档 错误 计算 在 软件 错误 之 内 ， 这 一 般 是 不 正确 的 ， 因 为 文 
档 并 不 直接 影响 程序 的 执行 。 因 为 用 户 接受 的 是 程序 使 用 的 错误 信息 ， 文 档 错 误 可 能 会 
导致 用 户 的 失效 。 但 是 ， 用 户 并 不 是 软件 成 分 ， 不 能 把 用 户 看 成 是 与 失效 和 可 黎 性 有 关 
的 单独 的 系统 成 分 。 

对 失效 严重 程度 进行 分 类 ， 主要 是 为 了 结合 失效 频率 来 解决 失效 优先 级 的 确定 。 党 
见 的 分 类 标准 包括 对 人 员 生 命 、 成 本 和 系统 能 力 的 影响 。 失 效 强度 常常 应 用 于 软件 可 靠 
性 工程 中 ， 最 初 是 指 单位 时 间 内 的 失效 次 数 ， 基 于 软件 大 量 的 使 用 经 验 ， 失 效 强度 表示 
为 每 个 自然 单元 出 现 的 失效 数目 更 加 方便 。 失 效 强 度 是 表示 可 靠 性 的 另 一 种 形式 。 

关于 概念 不 可 能 彼此 分 得 很 清楚 ， 实 际 上 也 没有 太 大 的 必要 。 目 前 软件 测试 界 一 般 
主要 使 用 缺陷 〈defect) 和 错误 〈error) 这 两 个 词 。 在 测试 过 程 中 ， 我 们 找到 的 错误 会 有 
不 同 的 类 型 ， 对 错误 的 分 析 与 管理 是 十 分 重要 的 。 


2.8.2 ”缺陷 与 错误 分 布 
通过 对 错误 分 布 情况 的 仔细 分 析 ， 可 以 帮助 我 们 将 测试 的 主要 精力 更 好 地 集中 到 最 
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有 价值 的 地 方 ， 如 图 2-20 显示 了 缺陷 与 错误 的 分 布 情况 。 

开发 早期 的 错误 通常 是 很 多 的 ， 而 且 令 人 讨厌 的 是 它们 还 会 转移 到 后 期 。 这 和 制造 
业 的 装配 线 类 似 ， 如 果 一 个 坏 零 件 或 次 品 被 允 
许 上 线 ， 从 这 点 开始 ,包含 它 的 组 件 就 是 “ 坏 ” _7% 
的 ， 如 果 该 组 件 下 了 线 ， 并 出 了 厂 门 ， 情 况 就 。 “这 ny 
会 更 粮 糕 ， 就 得 为 那个 坏 零 件 付出 代价 。 换 句 
话说 ， 错 误 不 是 自封 闭 的 ， 当 它们 转移 到 后 面 
的 组 件 中 时 ， 往 往 会 以 新 的 形势 出 现 。 

所 有 的 错误 都 是 要 付出 代价 的 。 没 有 被 发 
现 的 错误 ， 以 及 那些 在 开发 过 程 中 很 晚 才 被 发 
现 的 错误 都 是 成 本 非常 高 的 ， 没 有 被 发 现 的 错 
误 就 在 系统 中 迁移 、 扩散， 最 终 导 致 系统 失效 。 
直到 很 晚 才 被 发 现 的 错误 常常 造成 代价 昂贵 的 ， 
返工 。 那 些 没有 被 发 现 的 错误 导致 系统 失效 ， 需求 
造成 严重 的 财产 损失 ， 有 时 还 会 带 米 法 律 上 的 56% 
麻烦 ， 系 统 将 终身 为 此 付出 高 昂 的 代价 。 图 2-20 ”缺陷 与 错误 的 分 布 情况 

这 意味 着 测试 是 贯穿 开发 全 过 程 的 工作 ， 也 意味 着 对 最 终 产 品 的 测试 仅仅 是 软件 质 
量 大 战 中 的 一 个 战役 ， 而 且 不 是 代价 最 高 的 战役 。 今 天 ，40% 一 70% 的 软件 开发 时 间 和 
资源 都 花 在 查 错 和 纠 错 上 。 不 幸 的 是 大 多 数组 织 还 没有 一 套 办 法 来 准确 地 计算 成 本 ， 不 
管 怎样 ， 在 使 用 测试 资源 方面 任何 有 意义 的 改进 都 能 极 大 地 降低 开发 成 本 。 


2.8.3 ”缺陷 与 错误 严重 性 和 优先 级 


软件 存在 的 缺陷 与 错误 会 带 来 软件 失败 的 风险 ， 重 要 软件 故障 与 失效 会 导致 重大 经 
济 损失 与 灾难 。 在 报告 软件 缺陷 时 ， 一 般 要 讲 明 如 何 处 置 它们 。 测 试 员 要 对 软件 缺陷 分 
类 ， 以 简明 扼要 的 方式 指出 其 影响 ， 以 及 修改 的 优先 次 序 。 给 软件 缺陷 与 错误 划分 严重 

表示 软件 缺陷 所 造成 的 危害 的 恶劣 程度 ; 

@ 优先 级 表示 修复 缺陷 的 重要 程度 与 次 序 。 

e 严重 级 。 

严重 : 系统 骨 浪 、 数 据 丢 失 、 数 据 典 十。 

@ 较 严 重 : 操作 性 错误 、 错 误 结果 、 进 漏 功能 。 

@ 一 般 ， 小 问题 、 错 别 字 、UI 布局 、 罕 见 故障 。 

建议 : 不 影响 使 用 的 瑕 猎 或 更 好 的 实现 。 
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。 优先 级 。 

QW 最 积 优 先 级 : 立即 修复 ， 停 止 进一步 测试 。 

凶 次 高 优先 级 ， 在 产品 发 布 之 前 必须 修复 。 

@ 中 等 优先 级 如 果 时 间 人 允许 应 该 修复 。 

由 最 低 等 优先 级 : 可 能 会 修复 ， 但 是 也 能 发 布 。 

一 般 的 严重 性 和 优先 级 的 划分 用 数字 1~4 表示 ， 有 的 小 数字 表示 的 级 别 最 高 ， 而 
有 的 用 大 数字 表示 级 别 商 。 同 样 的 错误 和 缺陷 ， 在 不 同 的 开发 过 程 或 软件 的 不 同 部 分 ， 
严重 性 和 优先 级 将 有 所 变化 ， 要 具体 情况 具体 分 析 。 


2.8.4 ”软件 错误 跟踪 管理 


软件 测试 的 主要 目的 在 于 发 现 软件 存在 的 错误 (Bug), 如 何 处 理 测试 中 发 现 的 错误 ， 
将 直接 影响 到 测试 的 效果 。 只 有 正确 、 迅 速 、 准 确 地 处 理 这 些 错误 ， 才 能 消除 软件 错误 ， 
保证 要 发 布 的 软件 符合 需求 设计 的 目标 。 在 实际 的 软件 测试 过 程 中 ， 每 个 Bug 都 要 经 过 
测试 、 确 认 、 修 复 、 验 证 等 的 管理 过 程 ， 这 是 软件 测试 的 重要 环节 。 
1. 错误 跟踪 管理 
为 了 正确 地 跟踪 每 个 软件 错误 的 处 理 过 程 ， 站 为 一 
条 记录 输入 指定 的 错误 跟踪 管理 系统 。 
目前 已 有 的 错误 跟踪 管理 软件 包括 Compuware 公司 的 lenid 4 软件 《商业 软 
件 )、Mozilla 公司 的 Buzilla 软件 (免费 软件 )， 以 及 国内 的 微 创 公司 的 BMS 软件， 这些 
软件 在 功能 上 各 有 特点 ， 可 以 根据 实际 情况 选用 。 当 然 ,也 可 以 自己 开发 缺陷 跟踪 软件 ， 
例如 基于 Notes 或 是 ClearQuese 开发 的 错误 跟踪 管理 软件 。 
作为 一 个 错误 跟踪 管理 系统 ， 需 要 正确 记录 错误 信息 和 错误 处 理 信息 的 全 部 内 容 。 
(1) Bug 记录 信息 
主要 包括 以 下 几 项 内 容 。 
测试 软件 名 称 ; 
测试 版 本 号 ; 
测试 人 名 称 ; 
测试 事件 ; 
测试 软件 和 硬件 配置 环境 ; 
发 现 软件 错误 的 类 型 ; 
错误 的 严重 等 级 ， 
详细 步骤 ; 
必要 的 附 图 ; 
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e。 测试 注释 。 

《2) Bug 处 理 信 息 

主要 包括 以 下 4 项 内 容 。 

e 处 理 者 姓名 ; 

es 处 理 时 间 ; 

e 处 理 步 骤 ; 

e _ 错误 记录 的 当前 状态 。 

lolol 一 般 要 保证 对 于 


添加 的 错误 不 能 从 数据 库 中 删除 。 


2. 软件 错误 的 状态 
软件 错误 的 主要 状态 包括 以 下 内 容 。 
新 信息 “New): 测试 中 新 报告 的 软件 Bug。 
打开 (Open); 被 确认 并 分 配给 相关 开发 人 员 处 理 。 
修正 (Fixed); 开发 人 员 已 完成 修正 ， 等 待 测试 人 员 验 证 。 
拒绝 (Declined):， 拒绝 修改 Bug。 
延期 (Deferred): 不 在 当前 版 本 修复 的 错误 ， 下 一 版 修复 。 
关闭 (Closed): Bug 已 被 修复 。 
.错误 管理 流程 
错误 管 理 的 流程 可 以 概括 为 以 下 几 项 内 容 。 
e 测试 人 员 提 交 新 的 错误 入 库 ， 错 误 状 态 为 “New”。 
。 商 级 测试 人 员 验 证 错误 。 
GD 如 果 确 认 是 错误 ， 分 配给 相应 的 开发 人 员 ， 设 置 状 态 为 “Open ”。 
@ 如 果 不 是 错误 ， 则 拒绝 ， 设 置 为 “Dectined” 状 态 。 
e 开发 人 员 查 询 状 态 为 “Open” 的 错误 ， 做 如 下 处 理 。 
Q@ 如 果 不 是 错误 ， 则 置 状 态 为 “Declined”。 
@ 如 果 是 错误 ， 则 修复 并 置 状态 为 “Fixed”。 
@ 如 果 不 能 解决 的 错误 ， 要 留 下 文字 说 明 并 保持 错误 为 “Open” 状 态 。 
@) 对 于 不 能 解决 和 延期 解决 的 错误 ， 不 能 由 开发 人 员 自 己 决 定 ， 一 般 要 通过 某 种 


ww 旬 蝇 玫 二 和 二 


会 议 〈 评 审 会 ) 通过 才能 认可 。 


e。 测试 人 员 查 询 状 态 为 “Fixed” 的 错误 ， 验 证 错误 是 否 已 解决 ， 做 如 下 处 理 。 
如 问题 解决 了 ， 置 错误 的 状态 为 “Closed”。 
四 如 问题 没有 解决 ， 则 置 状 态 为 “Reopen”。 
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4. 错误 流程 管理 原则 

错误 流程 管理 遵照 以 下 原则 。 

GD 为 了 保证 错误 处 理 的 正确 性 ， 和 需要 有 丰富 测试 经 验 的 测试 人 员 验 证 发 现 的 错误 
是 否 是 真正 的 错误 ， 书 写 的 测试 步骤 是 否 准确 ， 可 以 重复 。 

@) 每 次 对 错误 的 处 理 都 要 保留 处 理 信 息 ， 包 括 处 理 姓名 、 时 间 、 处 理 方 法 、 处 理 
意见 、Bug 状态 。 

@@ 拒绝 或 延期 处 理 错误 不 能 由 程序 员 单 方面 决定 ， 应 该 由 项 目 经 理 、 测试 经 理 和 
设计 经 理 共同 决定 。 

由 错误 修复 后 必须 由 报告 错误 的 测试 人 员 验 证 ， 确 认 已 经 修复 后 ， 才 能 关闭 错误 。 

。 加强 测 试 人 员 与 程序 员 之 间 的 交流 ， 对 于 某 些 不 能 重复 的 错误 ， 可 以 请 测试 人 

员 补 充 详细 的 测试 步骤 和 方法 ， 以 及 必要 的 测试 用 例 。 


2.9 ”折合 测试 


白 盒 测试 也 称 结构 测试 或 逻辑 驱动 测试 ， 它 是 按照 程序 内 部 的 结构 测试 程序 ， 通 过 
测试 来 检测 产品 内 部 动作 是 否 按照 设计 规格 说 明 书 的 规定 正常 进行 ， 检 验 程序 中 的 每 条 
道路 是 否 都 能 按 预定 要 求 正确 工作 。 z 

这 一 方法 是 把 测试 对 象 看 作 一 个 打开 的 盒子 ， 测 试 人 员 依 据 程序 内 部 逻辑 结构 相关 
信息 ， 设 计 或 选择 测试 用 例 ， 对 程序 所 有 逻辑 路 径 进 行 测 试 ， 通 过 在 不 同 点 检查 程序 的 
状态 ， 确 定 实际 的 状态 是 否 与 预期 的 状态 一 致 。 

采用 什么 方法 对 软件 进行 测试 呢 ? 常用 的 软件 测试 方法 有 两 大 类 : 表态 测试 方法 和 
动态 测试 方法 。 其 中 软件 的 静态 测试 不 要 求 在 计算 机 上 实际 执行 所 测 程序 ， 主 要 以 一 些 
人 工 的 模拟 技术 对 软件 进行 分 析 和 测试 ， 而 软件 的 动态 测试 是 通过 输入 一 组 预先 按照 一 
定 的 测试 准则 构造 的 实例 数据 来 动态 运行 程序 ， 而 达到 发 现 程序 错误 的 过 程 。 这 两 种 测 
试 方法 和 相应 测试 用 例 的 设计 方法 将 在 相应 章节 作 详 细 介 绍 。 


2.10” 黑 盒 测试 


黑 盒 测 试 也 称 功能 测试 ， 它 是 通过 测试 来 检测 每 个 功能 是 否 都 能 正常 使 用 。 在 测试 
时 ， 把 程序 看 作 一 个 不 能 打开 的 黑 盒 子 ， 在 完全 不 考虑 程序 内 部 结构 和 内 部 特性 的 情况 
下 , 在 程序 接口 进行 测试 , 它 只 检查 程序 功能 是 否 按照 需求 规格 说 明 书 的 规定 正常 使 用 ， 
程序 是 否 能 适当 地 接收 和 输入 数据 而 产生 正确 的 输出 信息 。 黑 盒 测 试 着 眼 于 程序 外 部 结构 ， 
不 考虑 内 部 逻辑 结构 ， 主 要 针对 软件 界面 和 软件 功能 进行 测试 。 
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黑 盒 测试 是 以 用 户 的 角度 ， 从 输入 数据 与 输出 数据 的 对 应 关系 出 发 进行 测试 的 。 很 
明显 , 如果 外 部 特性 本 身 有 问题 或 规格 说 明 的 规定 有 误 , 用 黑 盒 测 试 方法 是 发 现 不 了 的 。 

辕 盒 测试 法 注重 于 测试 软件 的 功能 需求 ， 主 要 试图 发 现下 列 几 类 错误 。 

。 功能 不 正确 或 进 漏 ; 
界面 错误 ; 
数据 库 访 问 错误 ; 

性 能 错误 ; 
急 始 化 和 终止 错误 等 。 

从 理论 上 讲 ， 黑 盒 测 试 只 有 采用 穷 举 输入 测试 ， 把 所 有 可 能 的 输入 都 作为 测试 情况 
考虑 ， 才 能 查 出 程序 中 所 有 的 错误 。 实 际 上 测试 情况 有 无 穷 多 个 ， 人 们 不 仅 要 测试 所 有 
合法 的 办 入， 而且 还 要 对 那些 不 合法 但 可 能 的 输入 进行 测试 。 这 样 看 来 ， 完 全 测试 是 不 
可 能 的 ， 所 以 我 们 要 进行 有 针对 性 的 测试 ， 通 过 制定 测试 案例 指导 测试 的 实施 ， 保 证 软 
件 测试 有 组 织 、 按 步骤 ， 以 及 有 计划 地 进行 。 黑 盒 测 试行 为 必须 能 够 加 以 全 化 ， 才 能 真 
正 保证 软件 质 重 ， 而 测试 用 例 就 是 将 测试 行为 具体 量化 的 方法 之 一 。 具 体 的 黑 盒 测试 用 
例 设计 方法 包括 等 价 类 划分 法 、 边 界 值 分 析 法 、 错 误 推 测 法 、 因 果 图 法 、 判 定 表 驱 动 法 、 
正 交 试验 设计 法 、 功 能 图 法 等 。 

等 价 类 划分 的 办 法 是 把 程序 的 输入 域 划分 成 若干 部 分 , 然后 从 每 个 部 分 中 选取 少数 代 
家 性 数据 作为 测试 用 例 。 每 一 类 的 代表 性 数据 在 测试 中 的 作用 等 价 于 这 一 类 中 的 其 他 值 。 

边界 值 分 析 是 通过 选择 等 价 类 边界 的 测试 用 例 。 边 界 值 分 析 法 不 仅 重 视 输入 条 件 边 
界 ， 而 且 也 必须 考虑 输出 域 边界 。 

错误 推测 设计 方法 就 是 基于 经 验 和 直觉 推测 程序 中 所 有 可 能 存在 的 各 种 错误 ， 从 而 
有 针对 性 地 设计 测试 用 例 的 方法 。 

因果 图 方法 是 从 用 自然 语言 书写 的 程序 规格 说 明 的 描述 中 找 出 因 (输入 条 件 ) 和 果 
(输出 或 程序 状态 的 改变 )， 可 以 通过 因果 图 转换 为 判定 表 。 

正 交 试验 设计 法 ， 就 是 使 用 已 经 造 好 了 的 正 交 表格 来 安排 试验 并 进行 数据 分 析 的 一 
种 方法 ， 目 的 是 用 最 少 的 测试 用 例 达 到 最 珊 的 测试 科 盖 率 。 


2.11 有 目 动 化 测试 


2.11.1 自动 化 测试 的 基本 概念 


1. 自动 化 测试 的 引入 
软件 测试 作为 保证 软件 质量 和 可 胃 性 的 关键 技术 ， 正 日 瘟 受 到 广泛 的 重视 ， 但 随 兰 
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软件 工程 的 规模 越 来 越 大 , 客户 对 软件 的 质量 要 求 越 来 越 高 ,测试 的 工作 量 也 越 来 越 大 。 
如 何 进 行 测试 ， 如 何 提高 测试 的 质量 和 效率 ， 从 而 确保 软件 产品 的 质量 和 可 化 性 ， 就 成 
了 许多 人 深 感 困扰 的 问题 。 

目前 ， 企 业 级 应 用 系统 越 来 越 多 ， 这 些 系统 可 能 包括 ERP 系统 ，CRM 系统 等 。 这 
些 系统 在 发 布 之 前 或 升级 之 后 都 要 经 过 测试 ， 确 保 主 要 功能 都 能 正常 运行 ， 错 误 最 少 。 
如 何 有 效 地 测试 不 断 升 级 和 不 断 更 换 应 用 环境 的 应 用 系统 , 是 每 个 公司 都 会 面临 的 问题 。 
如 果 时 间或 资源 有 限 ， 这 个 问题 会 更 加 棘 手 。 人 工 测 试 的 工作 最 太 大 ， 同 时 还 需要 额外 
的 时 间 来 培训 测试 人 员 等 。 为 了 确保 那些 复杂 的 企业 级 应 用 在 不 同 环 境 下 都 能 可 靠 地 运 
行 ， 需 要 一 个 能 简单 操作 的 测试 工具 来 自动 完成 应 用 程序 的 功能 性 测试 。 

同时 ， 目 前 企业 的 网 络 应 用 环境 都 必须 支持 大 量 用 户 和 不 同 的 软 硬 件 应 用 环境 。 难 
以 预知 的 用 户 负载 和 越 来 越 复杂 的 应 用 环境 使 公司 时 时 担心 会 发 生 用 户 响 应 速度 过 慢 、 
系统 崩溃 等 问题 。 这些 都 不 可 避免 地 导致 公司 收益 的 损失 。 为 了 在 终端 用 户 正 式 使 用 前 ， 
对 应 用 系统 各 个 环节 的 质量 、 可 靠 性 和 可 扩展 性 进行 测试 和 评价 ， 就 需要 适用 于 不 同体 
系 染 构 的 目 动 负载 压力 测试 工具 ， 以 预测 系统 行为 并 为 系统 优化 提供 依据 。 

总 之 ， 为 了 更 加 快速 、 有 效 地 对 软件 进行 测试 ， 提 高 软件 产品 的 质量 ， 我 们 必然 会 
利用 测试 工具 ， 也 必然 会 引入 自动 化 测试 。 

2. 自动 化 测试 的 定义 

自动 化 测试 就 是 通过 测试 工具 或 其 他 手段 ， 按 照 测试 工程 师 的 预定 计划 对 软件 产品 
进行 目 动 的 测试 ， 它 是 软件 测试 的 一 个 重要 的 组 成 部 分 ， 它 能 够 完成 许多 手工 无 法 完成 
或 者 难以 实现 的 一 些 测试 工作 。 正 确 、 合 理 地 实施 自动 化 测试 ， 能 够 快速 、 NN 
件 进行 测试 ， 从 而 提高 软件 质量 ， 节 省 经 费 ， 缩 短 产 品 发 布 周期 。 

软件 测试 自动 化 涉及 到 测试 流程 、 测 试 体系 、 自 动 化 编译 以 及 自动 化 测试 等 方面 的 
整合 。 也 就 是 说 ， 要 让 测试 能 够 自动 化 ， 不 仅 是 技术 、 工 具 的 问题 ， 更 是 一 个 公司 和 组 
织 的 文化 问题 。 首 先 公司 要 从 资金 、 管 理 上 给 予 支持 ， 其 次 要 有 专门 的 测试 团队 去 建立 
适合 自动 化 测试 的 测试 流程 和 测试 体系 ， 最 后 才 是 把 源 代 码 从 受 控 库 中 取出 、 编 译 、 集 
成 、 发 布 并 进行 自动 化 的 功能 和 性 能 等 方面 的 测试 。 


2.11.2 ”自动 化 测试 的 优势 与 局 限 


1. 自动 化 测试 的 优势 

自动 化 测试 能 够 替代 大 重 手 工 测 试 工作 ， 避 免 重复 测试 ， 同 时 ， 它 还 能 够 完成 大 量 
手工 无 法 完成 的 测试 工作 ， 如 并 发 用 广 测试 、 入 数据 量 测试 、 长 时 间 运行 可 驳 性 测试 等 ， 
概括 地 说 ， 自 动 化 测试 具有 如 下 优点 。 

。 提高 测试 质量 : 软件 开发 的 过 程 就 是 一 个 持续 集成 和 改进 的 过 程 ， 而 每 一 次 修 
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改 都 有 可 能 产生 错误 。 因 此 ， 当 软件 产品 的 一 部 分 ， 或 者 全 部 ， 或 者 应 用 环境 
锌 修改 时 都 需要 对 软件 产品 重新 进行 测试 ， 其 目的 是 验证 修改 后 的 系统 或 者 产 
癌 的 质 基 是 否 符 合 规格 说 明 。 例 如 ， 对 于 产品 型 的 软件 ， 每 发 布 一 个 新 的 版 本 ， 
其 中 大 部 分 功能 和 界面 都 和 上 一 个 版 本 相似 或 完全 相同 ， 这 部 分 功能 特别 适合 
于 自动 化 测试 ， 由 于 自动 测试 工具 提供 了 简便 的 回归 测试 ， 能 以 便利 的 方式 验 
证 是 否 有 新 的 错误 进入 软件 产品 ， 既 节省 了 重复 手工 输入 的 工作 量 ， 保 证 了 测 
试 案例 的 一 致 性 ， 避 免 了 人 为 因素 ， 也 可 以 使 测试 达到 测试 每 个 质量 特性 的 目 
的 ， 从 而 提高 软件 测试 的 质量 。 

提高 测试 效率 ， 缩 短 测试 工作 时 间 : 软件 系统 的 规模 越 来 越 大 ， 功 能 点 越 来 越 
多 ， 达 到 几 千 个 上 万 个 ， 人 工 测 试 非常 耗 时 和 泽 琐 这样 必 然 会 导致 测试 效率 
低下 ， 而 自动 化 测试 工具 可 以 较 好 地 执行 这 些 频 误 的 测试 任务 。 在 充分 并 合理 
地 使 用 了 测试 工具 以 后 ， 可 以 减轻 测试 工程 师 的 手工 测试 工作 ， 同 时 ， 测 试 工 
具 还 可 以 把 控制 和 管理 引入 整个 测试 过 程 ， 能 够 保证 测试 的 进度 。 

提 蔽 测试 入 盖 率 ， 通 过 自动 化 测试 工具 的 录制 回放 及 数据 驱动 来 测试 功能 ， 可 
以 提高 测试 覆盖 率 。 通 过 测试 工具 的 辅助 分 析 功 能 ， 可 以 提高 测试 的 深度 。 
执行 手工 测试 不 能 完成 的 测试 任务 ， 有 些 非 功能 性 方面 的 测试 ， 例 如 ， 压 力 测 
试 、 负 载 测试 、 大 数据 重 测 试 、 裔 省 性 测试 等 ， 人 工 测试 是 不 可 能 实现 的 。 例 
如 ， 找 若干 台电 脑 和 同样 数目 的 操作 人 员 在 同一 时 刻 进行 操作 ， 然 后 拿 秒表 记 
录 下 反应 时 间 ， 这 样 的 手工 作坊 式 的 测试 方法 不 切实 际 且 无 法 捕 提 程序 内 部 变 
化 稍 况 。 

更 好 地 重 现 软件 缺陷 的 能 力 ， 目 动 化 测试 具有 更 好 的 一 致 性 和 可 重复 性 ， 由 于 
每 次 自动 化 测试 运行 的 脚本 是 相同 的 ， 所 以 每 次 执行 的 测试 具有 一 致 性 ， 人 是 
很 难 做 到 的 。 由 于 目 动 化 测试 的 一 致 性 ， 很 容 多 发 现 被 测 软 件 的 任何 改变 。 
更 好 地 利用 资源 : 理想 的 自动 化 测试 能 够 按 计 划 完 全 自动 地 运行 ， 在 开发 人 员 
和 测试 人 员 不 可 能 实行 三 班 倒 的 情况 下 ， 自 动 化 测试 可 以 胜任 这 个 任务 , 例如 ， 
完全 可 以 在 周末 或 者 晚上 执行 测试 。 这 样 充 分 地 利用 资源 ， 也 避免 了 开发 和 测 
试 之 间 的 神 突 。 

增进 测试 人 员 与 开发 人 员 之 间 的 合作 伙伴 关系 : 测试 工程 师 为 了 更 好 地 使 用 目 
动 化 测试 工具 ， 需 要 对 开发 技术 有 深入 的 理解 和 实践 ， 因 此 测试 工程 师 也 有 了 
与 开发 工程 师 更 多 、 更 平等 地 交流 的 机 会 ， 自 动 化 测试 为 测试 工程 师 与 程序 开 
发 人 员 协 同 工 作 提供 了 一 种 便利 的 手段 ， 双 方 将 有 更 多 的 合作 与 得 重 。 


测试 工具 能 够 提高 软件 质量 ， 改 进 测 试 过 程 ， 因 此 在 许多 公司 中 得 到 了 广泛 应 用 ， 


由 于 自动 化 测试 工具 自身 的 特点 ， 为 达到 较 高 的 投资 回报 率 ， 在 以 下 项 目 和 环境 中 更 适 
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合 使 用 自动 化 测试 工具 。 


需要 反复 进行 的 工作 。 在 持续 修改 软件 功能 的 项 目 中 ， 对 功能 的 测试 衢 要 反复 
进行 ， 人 工 测试 工作 量 极 大 。 功 能 性 测试 工具 能 够 自动 进行 重复 性 的 工作 ， 验 
证 软件 的 修改 是 否 引入 了 新 的 缺陷 ， 旧 的 缺陷 是 否 已 经 修改 。 减 少 人 工 测试 的 
工作 量 。 

负载 压力 测试 。 负 载 压 力 测 试 震 要 模拟 大 量 并 发 用 户 和 大 数据 量 ， 这 样 的 测 
试用 手工 不 能 完成 或 不 能 很 好 地 完成 ， 而 自动 化 测试 工具 则 可 以 很 好 地 解决 
A El ed 
时 间 。 

公司 有 大 量 的 测试 人 员 和 开发 人 人员， 他们 合作 完成 一 个 产品 ， 那 么 如 何在 产品 
的 生命 周期 中 进行 有 效 管理 和 合作 ， 借 助 于 自动 化 的 测试 管理 工具 ， 会 取得 事 
半 功 倍 的 效果 。 

如 果 需 要 进行 测试 系统 后 台 或 者 内 部 的 性 能 特性 ， 进而 进行 故障 定位 和 性 能 调 
优 ， 上 自动 化 测试 工具 会 是 一 个 不 错 的 选择 。 


2. 自动 化 测试 的 局 限 性 

虽然 自动 化 测试 可 以 提高 测试 效率 ， 能 够 完成 手工 测试 不 能 完成 的 工作 ， 但 自动 化 
测试 在 实际 应 用 中 也 存在 局 限 性 ， 并 不 能 完全 替代 手工 测试 ， 在 下 面 的 领域 中 自动 化 测 
试 会 有 一 定 的 局 限 性 。 


定制 型 项 目 : 为 客户 定制 的 项 目 ， 甚 至 采用 的 开发 语言 、 运 行 环境 也 是 客户 特 
别 要 求 的 ， 开 发 公司 在 这 方面 的 测试 积累 少 ， 这 样 的 项 目 不 适 合作 自动 化 功能 
测试 。 

周期 很 短 的 项 目 : 项 目 周期 很 短 ， 相 应 的 测试 周期 也 很 短 ， 因 此 花 大 量 精力 准 
备 的 测试 脚本 ， 不 能 得 到 重复 地 利用 。 当 然 ， 为 了 某 种 特定 的 测试 目的 专门 执 
行 的 测试 任务 除外 ， 比 如 ， 针 对 特定 应 用 的 性 能 测试 等 。 

业务 规则 复杂 的 对 象 ， 业务 规则 复杂 的 对 象 有 复杂 的 逻辑 关系 和 运算 关系 ， 工 
具 很 难 实现 ， 或 者 要 实现 这 些 测试 过 程 ， 需 要 投入 的 测试 准备 时 间 比 直接 进行 
手工 测试 所 需 的 时 间 更 长 。 

人 体感 观 与 易 用 性 测试 ， 界 面 的 美观 、 声 音 的 体验 、 易 用 性 的 测试 ， 无 法 用 测 
试 工具 来 实现 。 

不 稳定 的 软件 ， 如 果 软 件 不 稳定 ， 则 会 由 于 这 些 不 稳定 因素 导致 自动 化 测试 失 
败 ， 或 者 致使 测试 结果 本 身 就 是 无 效 的 。 

涉及 物理 交互 :自动 化 测试 工具 不 能 很 好 地 完成 与 物理 设备 的 交互 ， 比 如 刷卡 
器 的 测试 等 。 
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任何 工具 都 有 饭 的 可 用 范围 ， 就 像 我 们 不 能 拿 剪 刀 去 劈柴 ， 不 能 拿 荐 头 去 裁减 布料 
一 样 ， 面 对 任何 一 个 待 测 系统 ， 我 们 也 应 该 考虑 选用 的 测试 工具 是 否 合适 ， 引 入 测试 工 
具 是 否 有 利于 该 项 目的 开发 等 ， 和 否则， 有 可 能 适得其反 。 

以 上 介绍 了 自动 化 测试 的 局 限 性 ， 因 此 ， 作 为 测试 工程 师 ， 在 考虑 选用 自动 化 测试 
的 过 程 中 ， 还 需要 了 解 公司 领导 、 项 目 负 责 人 等 对 于 自动 化 测试 的 期 望 并 消除 他 们 一 些 
不 正确 的 期 望 ， 如 下 所 示 。 


自动 化 测试 可 以 完成 一 切 测试 工作 : 很 多 人 一 听 到 测试 自动 化 ， 就 认为 自动 化 
测试 工具 可 以 完成 一 切 测试 工作 ， 从 测试 计划 到 测试 执行 ， 再 到 测试 结果 分 析 ， 
不 需要 任何 人 工 干预 等 ， 很 显然 ， 这 是 一 种 理想 状态 ， 现 实 中 还 没有 哪个 测试 
工具 有 这 个 能 力 ， 并 且 将 来 也 不 会 有 。 在 现实 中 有 关 的 测试 设计 、 测 试 案例 以 
及 一 些 关 键 的 测试 任务 还 是 项 要 人 工 参与 的 ， 即 目 动 化 测试 是 对 手工 测试 的 畏 
助 和 补充 ， 它 永远 不 可 能 取代 手工 测试 。 

测试 工具 可 适 于 所 有 的 测试 ， 每 种 自动 化 测试 工具 都 有 它 的 应 用 范围 和 可 用 对 
象 ， 所 以 不 能 认为 一 种 自动 化 测试 工具 能 够 满足 所 有 的 测试 需求 。 针 对 不 同 的 
测试 目的 和 测试 对 象 ， 我 们 应 该 选择 合适 的 测试 工具 来 对 它 进 行 测试 ， 在 很 多 
情况 下 ， 和 需要 利用 多 种 测试 工具 才能 完成 测试 工作 。 

测试 工具 能 使 工作 量 大 幅度 降低 ， 事实 上 ， 引 入 目 动 化 测试 工具 不 会 马上 减轻 
测试 工作 ， 相 反 ， 在 更 多 情况 下 ， 首 次 将 自动 化 测试 工具 引入 企业 时 ， 测 试 工 
作 实 际 上 变 得 更 艰巨 了 。 只 有 在 正确 合理 地 使 用 测试 工具 ， 并 有 一 定 的 技术 积 
累 后 ， 测 试 工 作 重 才能 逐渐 减轻 。 

测试 工具 能 实现 百分之百 的 测试 覆盖 率 : 由 于 自动 化 测试 可 以 增加 测试 徐 盖 的 
深度 和 广度 ， 比 如 ， 利 用 白 盒 测 试 工具 可 能 实现 语句 全 儿 施 、 逻 辑 路 径 全 盘 盖 
等 , 但 因为 穷 举 测试 必须 使 用 所 有 可 能 的 数据 包 插 有效 的 和 无 效 的 测试 数据 ， 
所 以 在 有 限 的 资源 下 也 不 可 能 进行 百分之百 的 彻底 测试 。 

自动 化 测试 工具 容易 使 用 :对 于 这 一 点 ， 很 多 测试 工程 师 也 有 同样 的 错误 观点 ， 
认为 测试 工具 可 以 简单 地 通过 捕获 《录制 ) 客户 端 操作 生成 脚本 ， 且 脚本 不 加 
编辑 就 可 用 于 回放 使 用 。 事 实 上 ， 自 动 化 测试 不 是 那么 简单 ， 捕 获 的 操作 是 否 
正确 以 及 脚本 编辑 是 否 合理 都 会 影响 测试 结果 ， 因 此 ， 自 动 化 测试 需要 更 多 的 
技能 ， 也 需要 更 多 的 培训 。 

自动 化 测试 能 发 现 大 量 的 新 缺陷 : 发 现 更 多 的 新 缺陷 应 该 是 手工 测试 的 主要 目 
的 ， 不 能 期 望 自动 化 测试 去 发 现 更 多 新 缺陷 ， 事 实 上 自动 化 测试 主要 用 于 发 现 
老 缺 陷 。 
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2.11.3 ”选择 合适 的 自动 化 测试 工具 


1 自动 化 测试 工具 分 类 

自动 化 测试 工具 可 以 减少 测试 工作 量 ， 提 高 测试 工作 效率 ， 但 首先 是 能 够 选择 一 个 
合适 的 且 满 足 企 业 信息 系统 工程 环境 的 自动 化 测试 工具 ， 因 为 不 同 的 测试 工具 ， 其 面向 
的 测试 对 象 是 不 一 样 的 。 按 照 测试 工具 的 主要 用 途 和 应 用 领域 可 以 将 目 动 化 测试 工具 
分 为 以 下 几 类 。 


负载 压力 测试 工具 ， 这 类 测试 工具 的 主要 目的 都 是 为 了 度量 应 用 系统 的 可 扩展 
性 和 性 能 ， 是 一 种 预测 系统 行为 和 性 能 的 目 动 化 测试 工具 。 它 们 通过 模拟 成 百 
上 千 直 至 上 万 用 户 并 发 执行 关键 业务 ， 而 完成 对 应 用 程序 的 测试 ， 在 实施 并 发 
负载 过 程 中 通过 实时 性 能 监测 来 确认 和 查找 问题 ， 并 针对 所 发 现 问题 对 系统 性 
能 进行 优化 ， 确 保 应 用 的 成 功 部 署 。 负 载 压力 测试 工具 能 够 对 整个 企业 架构 进 
行 测试 ， 通 过 这 些 测试 ， 企 业 能 最 大 限度 地 缩短 测试 时 间 ， 优 化 性 能 和 加 速 应 
用 系统 的 发 布 周期 。 这 类 工具 的 主要 代表 有 LoadRunner、QALoad 、SILK 
PERFORMA V 和 E-Test Suite 等 。 全 

功能 测试 工具 ， 通 过 自动 录制 、 检 测 和 回放 用 户 的 应 用 操作 ， 将 被 测 系统 的 输 
出 记录 同 预先 给 定 的 标准 结果 进行 比较 ， 功 能 测试 工具 能 够 有 效 地 帮助 测试 人 
员 对 复杂 的 企业 级 应 用 的 不 同 发 布 版 本 的 功能 进行 测试 ， 提 高 测试 人 员 的 工作 
效率 和 质量 。 其 主要 目的 是 用 于 检测 应 用 程序 是 否 能 够 达到 预期 的 功能 并 正常 
运行 。 功 能 测试 工具 可 以 大 大 减轻 黑 盒 测 试 的 工作 量 ， 在 和 迭代 开发 的 过 程 中 ， 
人 回归 测试 。 这 类 工具 的 主要 代表 有 WinRunner、QARun 等 。 

白 盒 测 试 工具 ， 白 盒 测 试 工具 一 般 是 针对 代码 进行 测试 ， 测 试 中 发 现 的 缺陷 可 
以 定位 到 代码 级 ， 根 据 测试 工具 原理 的 不 同 ， 又 可 以 分 为 静态 测试 工具 和 动态 
测试 工具 。 静 态 测试 工具 直接 对 代码 进行 分 析 ， 不 需要 运行 代码 ， 也 不 需要 对 
代码 编译 链接 和 生成 可 执行 文件 。 甫 态 测试 工具 一 般 是 对 代码 进行 语法 扫描 ， 

找 出 不 符合 编码 规范 的 地 方 ， 根 据 某 种 质量 模型 评价 代码 的 质量 ， 生 成 系统 的 
调用 关系 图 等 。 静 态 测试 工具 的 代表 有 Logiscope 软件 和 PRQA 软件 。 动 态 测 
试 工具 与 欧 态 测试 工具 不 同 ， 动 态 测试 工具 一 般 采用 “ 插 柱 ”的 方式 ， 向 代码 
生成 的 可 执行 文件 中 插入 一 些 监测 代码 ， 用 来 统计 程序 运行 时 的 数据 。 其 与 表 
态 测试 工具 最 大 的 不 同 就 是 动态 测试 工具 要 求 被 测 系统 实际 运行 。 动 态 测试 工 
具 的 代表 有 DevPartner、Rational Purify 系列 等 。 

网 络 测试 工具 :这 类 工具 主要 包括 网 络 故 障 定位 工具 、 网 络 性 能 监测 工具 、 网 
络 仿真 模拟 工具 等 .它们 分 析 分 布 式 应 用 性 能 ， 关 注 应 用 、 网 络 和 其 他 元 素 (如 
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服务 器 ) 内 部 的 交互 式 活动 ， 以 便 使 网 络 管理 员 能 够 了 解 网 络 不 同位 置 和 不 同 
活动 之 间 应 用 的 行为 。 你 可 以 用 它 在 交易 执行 过 程 中 、Web 查找 和 检索 中 或 在 
日 常数 据 库 上 载 / 下 载 中 跟踪 应 用 行为 。 它 可 在 会 话 级 、 代 码 级 ， 甚 至 在 帧 级 和 

” 包 级 观察 应 用 的 行为 过 程 ， 并 深入 代码 内 部 的 结构 ， 解 析 有 问题 的 会 话 。 

e。 测试 管理 工具 : 测试 管理 工具 用 于 对 测试 进行 管理 。 一 般 而 言 ， 测 试管 理工 具 
对 测试 和 需求、 测试 计划 、 测 试用 例 、 测 试 实施 进行 管理 ， 并 且 测 试管 理工 具 还 
包括 对 缺陷 的 跟踪 管理 。 测 试管 理工 具 能 让 测试 人 员 、 开 发 人 员 或 其 他 的 IT 人 
员 通 过 一 个 中 央 数 据 仓库 ， 在 不 同 的 地 方 就 能 交互 信息 。 测 试管 理工 具 将 测试 
过 程 流水 化 ， 从 测试 需求 管理 到 测试 计划 、 测 试 日 程 安排 、 测 试 执行 到 出 错 后 
的 错误 跟踪 ,实现 了 全 过 程 的 自动 化 管理 。 测试 管理 工具 的 代表 有 TestDirector、 
TestManger、TrackRecord 等 。 

se 测试 辅助 工具 : 这 些 工 具 本 身 并 不 执行 测试 ， 例 如 它们 可 以 生成 测试 数据 ， 为 

测试 提供 数据 准备 等 。 

2， 自动 化 测试 应 用 策略 

随 着 软件 测试 地 位 的 逐步 提 剖 ， 测 试 的 重要 性 逐步 显现 ， 测 试 工具 的 应 用 已 经 成 为 
了 普 近 的 趋势 。 总 的 来 说 ， 测 试 工具 的 应 用 可 以 提高 测试 的 质量 、 测 试 的 效率 。 但 是 在 
选择 和 使 用 测试 工具 的 时 候 ， 我 们 也 应 该 看 到 ， 在 测试 过 程 中 ， 并 不 是 所 有 的 测试 工具 
都 适合 我 们 使 用 ， 同 时 ， 有 了 测试 工具 并 且 会 使 用 测试 工具 并 不 等 于 测试 工具 真正 能 在 
测试 中 发 挥 作用 ， 因 此 ， 如 何 确定 目 动 化 测试 策略 显得 至 关 重 要 。 应 用 测试 工具 的 目的 
很 明确 ， 一 般 而 言 ， 在 测试 过 程 中 应 用 测试 工具 主要 有 以 下 几 个 目的 。 

。 减少 测试 过 程 中 的 重复 劳动 ， 

。 实现 测试 自动 化 ， 解 决 手工 测试 不 能 解决 的 问题 。 

为 了 更 好 地 达到 测试 目的 ， 在 信息 系统 中 应 用 目 动 化 测试 需要 考虑 以 下 问题 。 

se 选择 合适 的 自动 化 测试 工具 面 对 众 多 不 同 用 途 的 测试 工具 ， 如 何 正确 地 选择 

合适 的 测试 工具 ， 是 能 否 正 常 实施 自动 化 测试 的 前 提 ， 我 们 在 选用 工具 的 时 候 ， 
建议 从 以 下 几 个 方面 来 权衡 。 

Q@ 功能 ， 功 能 当然 是 我 们 最 关注 的 内 容 ， 选 择 一 个 测试 工具 首先 就 是 看 它 提 供 的 
功能 。 当 然 ， 这 并 不 是 说 测试 工具 提供 的 功能 越 多 越 好 ， 在 实际 的 选择 过 程 中 ， 通 用 才 
是 根本 。“ 钱 要 花 在 刀刃 上 ”， 为 不 需要 的 功能 花费 金钱 是 不 明智 的 行为 。 事 实 上 ， 目 前 
市 面 上 同类 的 软件 测试 工具 之 间 的 基本 功能 都 是 大 同 小 寞 的 ， 各 种 软件 提供 的 功能 也 大 
臻 相同， 只 不 过 有 不 同 的 侧重 点 。 例 如 ， 同 为 白 盒 测试 工具 的 Logiscope 和 PRQA 软件 ， 
它们 提供 的 基本 功能 大 致 相同 ， 只 是 在 编码 规则 、 编 码 规则 的 定制 、 采 用 的 代码 质量 标 
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准 方面 有 不 同 。 除 了 基本 的 功能 之 外 , 以 下 的 功能 咎 求 也 可 以 作为 选择 测试 工具 的 参考 。 


报表 功能 :测试 工具 生成 的 结果 最 终 要 由 测试 人 员 进 行 解释 ， 而 且 ， 查 看 最 终 
报告 的 人 员 不 一 定 对 测试 很 熟悉 ， 因 此 ， 测 试 工具 能 否 生 成 结果 报表 ， 能 够 以 
什么 形势 提供 报表 是 需要 考虑 的 因素 (标准 符号 有 些 混乱 )。 

测试 工具 的 集成 能 力 ; 引入 测试 工具 是 一 个 长 期 的 过 程 ， 应 该 是 伴随 着 测试 过 
程 改 进而 进行 的 一 个 持续 的 过 程 。 因 此 ， 测 试 工具 的 集成 能 力也 是 必须 考虑 的 
因素 ， 这 里 的 集成 包括 两 个 方面 的 意思 ， 首 先 ， 测 试 工具 能 否 和 开发 工具 进行 
良好 的 集成 ， 其 次 ， 测 试 工具 能 够 和 其 他 测试 工具 进行 良好 的 集成 。 

操作 系统 和 开发 工具 的 兼容 性 。 测 试 工具 可 否 跨 平台 ， 是 否 适 用 于 公司 目前 使 
用 的 开发 工具 ， 这 些 问题 也 是 在 选择 一 个 测试 工具 时 必须 考虑 的 问题 。 


@ 价格 ;除了 功能 之 外 ， 价 格 就 应 该 是 最 重要 的 因素 了 ， 作 为 一 个 测试 工程 师 ， 
在 选择 购买 测试 工具 时 ， 应 该 具有 成 本 意识 ， 必 须 利用 有 限 的 资金 满足 企业 对 测试 工具 
的 大 多 数 需 求 。 

@@ 测试 工具 的 长 期 投资 考虑 ， 测试 工具 引入 的 目的 是 测试 自动 化 ， 引 入 工具 需要 
考虑 工具 的 连续 性 和 一 致 性 ， 也 就 是 说 ， 对 测试 工具 的 选择 必须 有 一 个 全 盘 的 考虑 ， 分 
阶段 、 逐 步 的 引入 测试 工具 。 


确定 测试 工具 的 应 用 时 机 : 购买 了 测试 工具 以 后 ， 如 何 让 测试 工具 真正 发 挥 作 
用 ， 是 应 用 自动 化 测试 的 关键 。 任 何 测试 工具 都 有 其 应 用 范围 ， 也 许 我 们 具备 
不 同 的 测试 工具 ， 那 么 在 不 同 的 软件 工程 阶段 ， 我 们 应 该 有 计划 地 去 使 用 相应 
的 测试 工具 ， 并 将 测试 工具 的 使 用 明确 定义 进 公司 的 开发 流程 。 例 如 ， 在 单元 
测试 阶段 ， 我 们 应 该 重点 采用 白 合 测试 工具 ， 当 软件 产品 的 功能 以 及 用 户 界面 
基本 确定 和 逐步 实现 后 ， 则 可 以 考虑 开始 使 用 功能 测试 工具 。 集 成 测试 阶段 ， 
则 可 以 引入 负载 压力 测试 工具 ， 对 系统 可 能 承受 的 负载 压力 进行 测试 与 评估 ， 
并 辅 以 相应 的 资源 ， 使 用 监控 工具 进行 故障 定位 等 。 

确定 测试 重点 : 对 于 一 些 测试 项 目 ， 尤 其 是 在 测试 时 间 有 限 的 情况 下 ， 比 如 ， 
执行 一 次 性 能 测试 ， 我 们 必须 能 够 确定 被 测 项 目的 主要 应 用 和 关键 步骤 ， 应 该 
对 那些 质量 要 求 较 高 并 且 风 险 大 的 部 分 进行 重点 测试 ， 例 如 在 金融 领域 ， 对 于 
那些 每 天 管理 数 百 万 、 数 千 万 人 民 币 流动 的 系统 ， 需 要 特别 对 其 硬件 、 软 件 的 
安全 可 靠 性、 可 用 性 进行 测试 。 

确定 测试 目标 和 指标 : 针对 不 同 的 软件 ， 其 软件 质量 要 求 的 等 级 和 目标 是 不 一 
翌 的 ， 通 过 测试 工具 可 以 更 好 地 验证 系统 设计 是 否 达 到 了 预期 目标 ， 因 此 ， 在 
正式 开始 测试 前 ， 我 们 应 该 能 够 清楚 地 了 解 测 试 预期 目标 。 

充分 利用 测试 工具 的 优势 ， 每 个 测试 工具 都 有 自己 独特 的 实现 技术 ， 对 于 同一 
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个 测试 项 目 ， 测 试 工具 可 能 也 提供 了 多 种 测试 方案 供 选 择 ， 比 如 脚本 录制 过 程 
中 协议 的 选择 ， 回 放 过 程 中 用 户 并 发 模拟 机 制 和 方式 的 选择 等 ， 只 有 充分 利用 
了 测试 工具 提供 的 这 些 技术 ， 才 可 能 更 好 、 更 真实 地 测试 应 用 系统 的 实际 质量 。 
。 ”加 强 对 测试 工程 师 的 技能 培训 ， 测 试 工具 的 使 用 者 必须 对 测试 工具 非常 了 解 。 
在 这 方面 ， 有 效 的 培训 是 必 不 可 少 的 。 测 试 工具 的 培训 是 一 个 长 期 和 的 过 程 ， 不 
是 通过 一 两 次 讲课 的 形式 就 能 达到 良好 的 效果 的 。 而 且 ， 在 实际 使 用 测试 工具 
的 过 程 中 ,测试 工具 的 使 用 者 可 能 还 存在 大 这 样 那样 的 问题 ， 这 也 需要 有 专家 
负责 解决 ， 否 则 的 话 ， 对 于 测试 工具 使 用 者 的 积极 性 将 造成 很 大 的 打击 。 


2.11.4 功能 自动 化 测试 


1. 概述 

传统 的 手工 测试 是 测试 人 员 执 行 测试 用 例 ， 然 后 将 测试 结果 和 预期 结果 相 比 较 并 记 
录 测 试 结果 。 然 而 ， 随 者 软件 工程 的 规模 越 来 越 大 ， 软 件 产品 的 功能 越 来 越 复杂 ， 同 时 ， 
软件 的 更 新 换代 也 越 来 越 频 每 ， 软 件 测试 部 门 的 工作 难度 越 来 越 大 ， 手 工 测 试 已 经 跟 不 
上 这 种 发 展 趋势 了 。 

功能 日 动 化 测试 工具 可 以 帮助 测试 工程 师 目 动 处 理 测试 开发 到 测试 执行 的 整个 过 
程 中 的 问题 。 你 可 以 创建 可 修改 且 可 复 用 的 测试 脚本 ， 甚 至 可 以 在 下 班 后 让 计算 机 目 动 
执行 脚本 ， 从 而 减少 劳动 量 ， 提 两 测 试 效 率 。 

功能 测试 自动 化 工具 的 主要 功能 ， 就 是 为 了 确保 应 用 能 够 按照 预期 设计 执行 而 将 业 
务 处 理 过 程 记 录 到 测试 脚本 中 。 当 应 用 被 开发 完成 或 应 用 升级 时 ， 测 试 工 具 支 持 测试 脚 
本 的 编辑 、 扩 展 、 执 行 和 报告 测试 结果 ， 并 且 保 证 测试 脚本 的 可 重复 使 用 ， 贯 穿 于 应 用 
的 整个 生命 周期 。 

当 一 个 应 用 开发 完毕 后 ， 程 序 界面 基本 定型 ， 这 个 时 候 ， 针 对 该 应 用 的 自动 测试 应 
该 展开 。 自 动 测 试 的 引入 ， 大 大 提 商 了 测试 的 效率 和 测试 的 准确 性 ， 而 且 测 试 人 员 一 次 
设计 的 脚本 ， 可 以 在 软件 生命 周期 的 各 个 阶段 重复 使 用 ， 尤 其 在 软件 交付 后 ， 随 者 企业 
的 发 展 ， 你 的 应 用 就 会 随 之 在 数量 和 范围 上 增长 。 为 了 满足 业务 的 句 求 ， 应 用 的 改变 会 
”很 频繁 ， 对 于 这 些 需 求 ， 将 可 以 通过 小 范围 修改 测试 工具 录制 的 脚本 来 完成 。 对 于 功能 
测试 工具 的 使 用 ， 比 较 重 要 的 是 测试 规划 问题 。 如 何 规划 一 次 录制 ， 使 它 具 有 良好 的 可 
扩展 性 、 重 用 性 ， 整 个 脚本 能 够 有 清晰 的 层次 和 最 大 限度 地 适应 以 后 程序 的 修改 ， 这 些 
也 是 在 实际 工程 中 用 户 最 脊 迪 过 到 的 问题 ， 它 的 实施 就 需要 有 经 验 的 软件 测试 人 员 介入 
并 结合 应 用 来 进行 具体 分 析 。 

2. 测试 原理 

功能 自动 化 测试 工具 基本 上 都 是 采取 录制 回放 的 方式 来 模拟 用 户 的 实际 操作 。 当 你 
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在 软件 操作 中 点 击 图 形 用 户 界 面 上 的 对 象 时 , 测试 工具 会 用 一 种 类 C 或 者 其 他 的 脚本 语 
言 (TSL) 生成 一 个 测试 脚本 ， 该 脚本 记录 了 你 的 操作 过 程 ， 然 后 测试 工具 就 可 以 回放 
刚才 的 操作 过 程 。 当 然 你 也 可 以 手工 编程 生成 这 个 脚本 。 通 常情 况 下 ， 测 试 工 具 采 取 两 
种 录制 模式 。 
(1) 环境 判断 模式 
这 种 模式 根据 你 选取 的 图 形 用 户 界面 对 象 〈《 如 窗 体 、 清 单 、 按 钮 等 》 ， 把 你 对 软件 
的 操作 动作 录制 下 来 ， 并 忽略 这 些 对 象 在 屏幕 上 的 物理 位 置 。 每 一 次 你 对 被 测 软件 进行 
操作 ， 测 试 脚本 语言 会 记录 并 描述 你 选取 的 对 象 和 你 的 操作 动作 。 当 你 进行 录制 时 ， 测 
试 工 具 会 对 你 选取 的 每 个 对 象 做 惟一 描述 并 写 入 相应 的 文件 中 。 当 软件 用 户 界 面 发 生变 
化 时 ， 你 只 需 更 新 特定 的 对 象 记录 文件 。 这 样 一 来 ， 环 境 判 断 模式 的 测试 脚本 将 非常 容 
易 地 被 重复 使 用 。 执 行 测试 只 需要 回放 测试 脚本 。 回 放 时 ， 测 试 工具 从 指定 文件 中 读 取 
对 象 描述 ， 并 在 被 测 软 件 中 查找 符合 这 些 描述 的 对 象 并 模拟 用 户 使 用 鼠标 选取 该 对 象 、 
用 键盘 输入 数据 的 操作 。 

(2) 模拟 模式 

这 种 模式 记录 鼠标 点 击 、 键 盘 输 入 和 鼠标 在 二 维 平 面 上 x 轴 和 y 轴 ) 的 精确 运动 
轨迹 。 执 行 测试 时 ， 测 试 工具 让 鼠标 根据 轨迹 运动 。 这 种 模式 对 于 那些 需要 追踪 鼠标 运 
动 的 测试 非常 有 用 ， 例 如 画图 软件 等 。 

不 论 测 试 工具 采用 的 是 哪 种 录制 模式 ， 通 常情 况 下 ， 其 实施 测试 必须 经 历 的 几 个 操 
作 步 骤 如 下 。 

es。 创建 脚本 ， 你 可 以 通过 录制 、 编 程 或 两 者 同 用 的 方式 创建 测试 脚本 。 测 试 工 
具 可 以 自动 记录 你 的 操作 并 生成 所 需 的 脚本 代码 ， 你 还 可 以 直接 修改 测试 脚 
本 以 满足 各 种 复杂 测试 的 需求 。 录 制 测 试 时 ， 在 需要 检查 软件 反应 的 地 方 插 
入 检查 点 〈checkpoint)。 你 可 以 插入 检查 点 来 检查 GUI 对 象 、 位 图 (bitmap ) 
和 数据 库 。 在 这 个 过 程 中 ， 测 试 工具 会 自动 捕捉 数据 ， 并 将 该 数据 作为 期 望 
结果 储存 下 来 。 例 如 ， 在 创建 测试 时 ， 可 以 设 定 哪些 数据 库 表 和 记录 和 需要 检 
测 ， 在 测试 运行 时 ， 测 试 程序 就 会 自动 核对 数据 库 内 的 实际 数值 和 预期 的 数 
值 是 否 一 致 。 

。 调试 脚本 : 脚本 录制 或 编辑 结束 后 ， 你 可 以 先 在 调试 模式 下 运行 脚本 。 并 可 以 
设置 中 断 点 〈breakpoint) 来 监测 变量 ， 控 制 对 象 识 别 和 陋 离 错误 。 

。 执行 测试 : 脚本 调试 结束 后 ， 便 可 以 在 检验 模式 下 测试 被 测 软 件 。 .运行 测试 时 ， 
测试 工具 会 自动 操作 应 用 程序 ， 就 像 一 个 真实 的 用 户 根 据 业 务 流程 执行 着 每 一 
步 的 操作 。 此 时 ， 测 试 工具 在 运行 脚本 过 程 中 如 果 明 到 了 检查 点 ， 就 把 当前 数 
据 和 事先 捕捉 并 保存 的 期 望 值 进行 比较 。 如 果 发 现 有 不 符合 ， 就 记录 下 来 作为 
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测试 结果 。 在 具体 的 测试 过 程 中 ， 为 了 全 面 地 测试 一 个 应 用 程序 ， 需 要 使 用 不 
同类 型 的 数据 来 测试 。 一 般 悄 况 下 ， 测 试 工具 都 能 提供 动态 数据 处 理 及 参数 化 
技术 ， 可 以 用 参数 去 代替 定 值 ， 从 而 真实 地 反映 多 个 用 户 行为 。 以 一 个 订单 输 
人 入 的 流程 为 例 ， 你 可 能 希望 把 订单 号 或 客户 名 称 作 为 可 变 栏 ， 用 多 套数 据 进行 
测试 。 使 用 数据 驱动 向 导 ， 你 可 以 选择 订单 号 或 客户 名 称 用 数据 表格 文件 中 的 
哪个 栏目 的 数据 普 换 。 你 可 以 把 订单 号 或 客户 名 称 输入 数据 表格 文件 ， 或 从 其 
他 表格 和 数据 库 中 导入 。 数 据 驱动 测试 不 仅 节省 了 时 间 和 资源 ， 又 提高 了 应 用 
的 测试 给 盖 率 。 

。 结果 分 析 :， 每 次 测试 结束 ， 测 试 工 具 都 会 把 测试 情况 显示 在 测试 结果 报告 中 。 
测试 结果 报告 会 详细 描述 测试 执行 过 程 中 发 生 的 所 有 主要 事件 ， 如 检查 点 、 错 
误 信息 、 系 统 信息 或 用 户 信 息 。 如 果 在 检查 点 有 不 符合 的 情况 被 发 现 ， 你 可 以 
在 测试 结果 窗口 查看 预期 结果 和 实际 测试 结果 。 如 果 是 位 图 不 符合 ， 你 也 可 以 
查看 用 于 显示 预期 值 和 实测 结果 之 间 差 异 的 位 图 。 如 果 由 于 测试 中 发 现 错误 而 
造成 测试 运行 失败 ， 你 可 以 直接 从 测试 结果 中 查看 有 头 错误 信息 。 


2.11.5 “负载 压力 自动 化 测试 


1. 概述 . 

当 一 个 企业 自己 组 织 力量 或 委托 其 他 的 软件 公司 开发 了 一 套 应 用 系统 的 时 候 ， 尤 其 
是 以 后 在 生产 环境 中 实际 使 用 起 来 时 ， 用 户 往往 会 产生 疑问 ， 这 套 系统 能 不 能 承受 大 是 
的 并 发 用 户 同 时 访问 ， 随 着 生产 数据 的 不 断 累 积 ， 系 统 的 哆 应 处 理 能 力 是 不 是 会 明显 下 
降 直至 用 户 不 能 接受 。 这 类 问题 最 常见 于 采用 联机 事务 处 理 (OLTP) 方 式 的 数据 库 应 用 、 
Web 应 用 和 视频 点 播 应 用 等 系统 。 

比如 ， 电 信 计 费 软件 ， 众 所 周知 ， 每 月 20 日 左右 是 市 话 交 费 的 两 峰 期 ， 全 市 几 千 
个 收费 网 点 同时 启动 ， 收 费 过 程 一 般 分 为 两 步 ， 首 先 要 根据 用 户 提出 的 电话 号 码 来 查询 
出 其 当月 产生 的 费用 ， 然 后 收取 现金 并 将 此 用 户 修改 为 已 交 费 状态 。 一 个 用 户 看 起 来 简 
单 的 两 个 步骤 ， 当 成 百 上 千 的 终端 同时 执行 这 样 的 操作 时 情况 就 大 不 一 样 了 ， 如 此 众多 
的 交易 同时 发 生 ， 对 应 用 程序 本 身 、 操 作 系 统 、 中 心 数据 库 服 务 器 、 中 间 件 服务 器 、 网 
络 设备 的 承受 力 都 是 一 个 严峻 的 考验 。 决 策 者 不 可 能 在 发 生 问题 后 才 考 虑 系统 承受 力 。 
预见 软件 系统 的 并 发 承受 力 ， 这 是 在 软件 测试 阶段 就 应 该 解决 的 。 

如 何 模拟 实际 情况 呢 ? 找 若干 台电 脑 和 同样 数目 的 操作 人 员 在 同一 时 刻 进行 操作 ， 
然后 拿 秒表 记录 下 反应 时 间 ? 这 样 的 手工 作坊 式 的 测试 方法 不 切实 际 且 无 法 捕捉 程序 内 
部 的 变化 情况 。 这 就 需要 负载 压力 测试 工具 的 辅助 。 

那么 ， 什 么 是 负载 测试 和 压力 测试 呢 ? 负载 测试 是 为 了 证 明 在 与 产品 〈 预 期 ) 规模 


www.TopSage.com 


第 2 章 ”软件 测试 打 础 69 


等 同 的 数据 库 中 处 理 给 定 的 事务 请 求 的 容量 下 ， 系 统 功能 与 性 能 是 否 与 需求 规格 说 明 中 
规定 的 ， 可 接受 的 响应 时 间 一 致 的 测试 过 程 。 而 压力 测试 则 是 使 客户 机 在 大 容量 情况 下 
运行 的 测试 过 程 ， 目 的 是 查看 应 用 将 在 何 时 何 处 出 现 中 断 ， 即 识别 系统 的 游 弱 环节 。 压 
力 测 试 中 可 能 暴露 的 系统 缺陷 有 内 存 泄漏 、 系 统 资源 过 量 消耗 、 磁 盘 空 间 用 完 等 。 

负载 压力 测试 工具 可 以 记录 下 客户 端的 操作 ， 并 以 脚本 的 方式 保存 ， 然 后 建立 多 个 
虚拟 用 户 ， 在 一 台 或 几 台 PC 机 上 模拟 上 百 或 上 千 虚拟 用 户 同时 操作 的 情景 ， 同 时 记录 
下 每 一 事务 处 理 的 响应 时 间 、 中 间 件 服务 器 资源 使 用 、 数据 库 负载 等 测试 工程 师 可 以 
根据 测试 结果 分 析 系 统 瓶颈 。 

在 各 种 类 型 的 并 发 测试 中 ,基于 Web 的 应 用 占 了 很 大 的 比例 ， 现在 有 相当 数量 的 联 
机 事务 处 理 (OLTP) 类 型 系统 采用 Web 方式 ， 还 有 一 些 网 站 ， 对 并 发 连接 的 数量 和 自 
已 网 站 对 大 量 用 户 访问 的 支持 能 力 ， 都 表示 出 了 相当 程度 的 关心 。 对 于 负载 压力 测试 工 
具 ， 它 提供 了 对 Web 页 面 压 力 测试 的 完整 解决 方案 ， 包 括 用 户 模拟 、Web 服务 器 监控 、 
页 面 每 秒 钟点 击 率 统计 、 单 独 页 面 加 载 时 间 分 析 等 各 种 专门 针对 Web 的 特性 。 

随 着 服务 器 端 处 理 任务 的 日 益 复杂 以 及 网 站 访问 量 的 迅速 增长 ， 服 务 器 性 能 的 优化 
也 成 了 非常 迫切 的 问题 。 在 优化 之 前 ， 最 好 能 够 测试 一 下 不 同 负载 条 件 下 服务 器 的 性 能 
表现 。 定 位 性 能 瓶颈 所 在 ， 是 设计 性 能 改善 方案 之 前 的 一 个 至 关 紧 要 的 步骤 。 

负载 测试 是 任何 Web 应 用 的 开发 周期 中 一 个 重要 的 步骤 。 如 果 你 在 构造 一 个 为 大 量 
用 户 服务 的 应 用 ， 搞 清楚 你 的 产品 配置 能 够 承受 多 大 的 负载 非常 重要 。 如 果 你 在 构造 一 
个 小 型 的 Intranet 网 站 ， 测 试 能 够 暴露 出 最 终 会 导致 服务 器 朋 省 的 内 存 漏洞 、 资 源 竞争 
等 情况 。 但 是 在 实际 的 开发 过 程 中 ， 要 按照 实际 投入 运行 的 情况 ， 组 织 成 千 上 万 的 用 户 
来 进行 压力 测试 ， 无 论 从 哪个 方面 看 ， 都 是 不 现实 的 。 而 且 一 旦 发 现 了 问题 ， 不 仅 需 要 
重复 地 进行 这 种 耗费 巨大 的 测试 ， 而 且 问 题 不 容易 重 现 ， 不 能 方便 地 找 出 性 能 的 瓶颈 所 
在 。 而 使 用 测试 工具 进行 压力 测试 就 不 会 存在 这 种 情况 。 

无 论 是 哪 种 情形 ， 花 些 时 间 对 应 用 进行 负载 压力 测试 可 以 获得 重要 的 基准 性 能 数 
据 ， 为 未 来 的 代码 优化 、 硬 件 配置 以 及 系统 软 硬 件 升级 带 来 方便 。 即 使 经 费 有 限 的 开 
发 组 织 也 可 以 对 它们 的 网 站 进行 负载 压力 测试 ， 因 为 有 些 测试 工具 是 可 以 免费 下 
载 的 。 

在 测试 阶段 使 用 负载 压力 测试 工具 进行 测试 ， 还 可 以 模拟 数据 库 死 锁 情况 ， 结 合 
力 分 析 SQL 效率 ,优化 应 用 程序 和 数据 库 配置 等 工作 ， 使 软件 系统 更 加 健壮 和 高 效 。 这 
样 的 实例 也 很 多 ， 比 如 有 公司 在 测试 某 省 的 大 型 电信 业务 网 上 受理 系统 时 ，200 个 并 发 
用 户 同时 联机 时 速度 正常 ， 但 当 达 到 用 户 量 达 到 500 个 的 时 候 ， 受 理 速度 明显 变 慢 ， 通 
过 监控 发 现 Web 服务 器 的 流量 有 所 降低 , 而 表 空 间 对 应 的 数据 文件 中 发 生 的 磁盘 物理 读 
的 次 数 却 大 于 正常 水 平 ， 最 后 通过 诊断 确定 有 部 分 复杂 的 SQL 查询 〈 如 大 表 连 接 操作 ， 
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嵌 套 查询 等 ) 没有 利用 合适 的 索引 和 采用 最 优 的 解释 方案 ， 而 造成 全 表 扫 描 。 而 且 数 据 
库 配 置 参数 DB_ BLOCK_BUFFERS 太 小 ， 不 能 适应 500 个 用 户 或 更 大 规模 的 并 发 情况 。 
经 过 测试 人 员 和 开发 人 员 对 系统 的 共同 调整 ， 再 次 测试 的 时 候 一 切 恢复 正常 ，500 个 用 
户 的 并 发 测试 顺利 通过 。 

2. 测试 原理 

负载 压力 测试 工具 基本 上 都 是 采取 录制 回放 的 方式 来 模拟 用 户 的 实际 操作 的 ， 而 且 
测试 工具 一 般 都 会 有 一 个 后 台 代 理 进 程 ， 通 过 该 代理 进程 ， 测 试 工具 可 以 监视 并 获取 在 
各 种 通信 协议 下 应 用 系统 的 客户 与 服务 器 端的 通信 信息 ， 测 试 工具 会 用 一 种 类 C 或 者 其 
他 的 脚本 语言 (TSL) 生成 一 个 测试 脚本 ， 该 脚本 记录 了 你 对 服务 器 的 请 求 过 程 ， 然 后 
调试 工具 就 可 以 回放 刚才 的 访问 过 程 ， 接 收服 务 器 的 响应 ， 当 然 你 也 可 以 用 手工 编程 生 
成 这 个 脚本 。 

通常 情况 下 ， 实 施 负 载 压 力 测试 的 工作 示意 图 如 图 2-21 所 示 。 


一 
控制 台 负载 生成 器 1 。 负载 生成 器 2 
controller Apgent Apent 


图 2-21 实施 负载 压力 测试 的 工作 示意 图 


当 被 测 系统 运行 时 ， 脚 本 生成 器 会 自动 获取 系统 客户 端 与 服务 器 的 通信 信息 并 转换 
成 测试 工具 可 以 识别 的 脚本 ， 测 试 工具 通过 控制 台 将 测试 脚本 分 发 到 其 他 负载 生成 器 上 
以 模拟 多 用 户 对 服务 器 的 并 发 访问 ， 同 时 ， 控 制 台 还 可 以 通过 服务 器 上 开启 的 远程 RPC 
服务 ， 获 取 相 关 的 资源 使 用 信息 ， 最 后 可 以 收集 测试 数据 。 

在 进行 测试 脚本 录制 与 分 配 的 过 程 中 ， 应 但 循 如 下 几 个 原则 。 

。 ”脚本 越 小 越 好 。 就 像 编 写 程序 代码 一 样 ， 不 要 太 长 ， 尽 量 做 到 一 个 功能 一 个 脚 

本 。 如 果 那 些 功能 是 连续 有 序 的 ， 必 须 先 做 上 一 个 ， 才 能 执行 下 一 个 ， 那 就 只 
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好 放 在 一 起 了 。 

选择 负载 压力 最 高 的 业务 功能 进行 测试 。 有 些 人 总 希望 能 够 测试 几乎 所 有 的 功 
能 ， 但 事实 上 ， 这 种 想法 不 可 行 ， 因 为 测试 是 需要 投入 时 间 和 金钱 的 ， 我 们 应 
该 结合 用 户 实 际 的 使 用 情况 ， 选 择 负载 压力 最 高 的 业务 功能 进行 测试 ， 以 满足 
性 能 测试 的 需求 ， 达 到 测试 的 预期 目的 。 

选择 所 需要 的 操作 进行 录制 。 例 如 ， 和 需要 测试 服务 器 承受 负载 压力 的 性 能 ， 某 
些 客户 端的 操作 不 会 对 后 台 服 务 器 产生 负载 压力 ， 就 可 以 不 录制 。 比 如 一 些 郁 
询 操作 ， 选 择 查 询 条 件 的 页 面 可 以 不 录制 ， 但 对 于 一 些 页 面 有 可 能 要 与 后 台 服 
务 器 传递 参数 ， 就 需要 录制 了 。 如 何 确 定 哪些 操作 箱 要 录制 ， 一 是 可 以 找 开发 
人 员 了 解 清 楚 程 序 设计 结构 和 运行 模式 ， 二 是 可 以 靠 目 己 的 经 验 ， 熟 能 生 巧 当 
然 不 会 错 。 


由 于 负载 压力 测试 工具 是 一 种 预测 系统 行为 和 性 能 的 负载 测试 工具 。 它 需要 模拟 成 
百 上 千 甚 至 上 万 的 用 户 同时 操作 应 用 系统 , 实施 并 发 负载 及 实时 性 能 监测 。 通常 情况 下 ， 
测试 工具 模拟 多 用 户 并 发 访问 可 以 有 以 下 两 种 方式 。 

QL 进程 回放 模式 ， 模 拟 多 进程 运行 方式 ， 即 客户 端 与 服务 器 的 访问 采用 进程 方式 ， 
每 一 个 虚拟 用 户 通 过 一 个 进程 建立 与 服务 器 的 通信 连接 并 访问 。 

包 线程 回放 模式 ， 模拟 多 线程 运行 方式 ， 即 客户 端 与 服务 器 的 访问 采用 线程 方式 ， 
每 一 个 虚拟 用 户 通 过 一 个 线程 建立 与 服务 器 的 通信 连接 并 访问 。 

不 论 测试 工具 采用 的 是 哪 种 录制 回放 模式 ， 其 必须 经 历 的 几 个 操作 步骤 如 下 。 


协议 选择 ， 如 前 所 述 ， 测 试 工具 都 是 通过 获取 在 各 种 道 信 协议 下 应 用 系统 的 客 
户 端 与 服务 器 端的 通信 信息 并 进一步 来 实现 负载 压力 测试 的 ， 所 以 首先 要 确定 
被 测 应 用 系统 客户 端 与 服务 器 端的 通信 和 所 使 用 的 协议 类 型 。 一 般 而 言 ，B/S 系 
统 选择 Web (Http/Html), 两 层 C/S 系统 则 根据 C/S 结构 所 用 到 的 后 台数 据 库 来 
选择 不 同 的 协议 ， 协 议 的 选择 请 参考 有 关 章 节 。 

创建 测试 脚本 ; 选择 好 相应 的 录制 协议 以 后 ， 就 可 以 启动 脚本 录制 工具 ， 通 过 
测试 工具 的 代理 进程 获取 应 用 系统 客户 端 和 服务 器 端的 通信 信息 ， 测 试 工具 可 
以 自动 记录 客户 端 对 服务 器 端的 访问 操作 并 自动 转换 成 所 需 的 脚本 代码 ， 还 可 
以 直接 编辑 测试 脚本 以 满足 各 种 复杂 测试 的 需求 。 

参数 化 测试 数据 。 对 于 创建 的 测试 脚本 ， 你 可 以 利用 数据 池 技术 对 其 中 的 某 些 
数据 参数 化 ， 从 而 更 好 地 模拟 真实 应 用 访问 。 以 一 个 订单 输入 过 程 为 例 ， 参 数 
化 操作 可 将 记录 中 的 常量 数据 ， 如 订单 号 和 客户 名 称 ， 由 变 值 来 代替 ， 以 更 好 
地 模拟 多 个 实际 用 户 的 操作 行为 。 

创建 虚拟 用 户 ， 设 定 负载 方案 : 由 于 负载 压力 测试 的 目的 就 是 要 模拟 多 用 户 并 
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发 访问 应 用 系统 ， 所 以 在 开始 测试 之 前 就 应 该 设计 好 需要 模拟 的 虚拟 用 户 数 ， 
然后 使 用 测试 工具 控制 台 设 定 负载 方案 。 

执行 测试 : 设 定 了 相应 的 负载 测试 方案 后 ， 就 可 以 开始 测试 了 ， 测 试 过 程 中 ， 
测试 工具 会 自动 记录 测试 结果 ， 包 括 事 务 处 理 的 啊 应 时 间 ， 服 务 器 的 资源 鼎 用 
情况 等 。 

结果 分 析 : 测试 结束 后 ， 测 试 工具 会 收集 汇总 所 有 的 测试 数据 并 生成 测试 结果 
报告 , 这 些 数据 主要 包括 交易 性 能 数据 (如 响应 时 间 等 )、 服务 器 资源 占用 情况 、 
网 路 设备 和 数据 库 的 实时 性 能 数据 等 。 通 过 这 些 数据 就 可 以 从 客户 端 、 服 务 器 
端 以 及 网 络 三 方面 来 评估 系统 组 件 的 运行 性 能 ， 从 而 定位 应 用 系统 存在 的 主要 
问题 ， 为 系统 改进 做 准备 。 
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对 软件 质量 进行 评估 是 软件 测试 的 一 个 重要 目的 。 软 件 测试 人 员 必须 深刻 理解 软件 
质量 的 定义 和 度量 原理 。 


3.1 质量 的 定义 


想 提 高 质量 ， 就 必须 给 出 质量 定义 并 测量 它 。 大 众 化 的 观点 和 含糊 其 词 的 定义 ， 不 
利于 质量 工程 的 开展 。 质 量 是 多 维 的 概念 ， 包 括 : 实体 、 实 体 的 属性 和 对 实体 的 观点 。 

早 在 1970 年 ，Juran 和 Gryna 把 质量 定义 为 “ 适 于 使 用 ”。Crosby (1979 年 ) 将 质 
量 定义 为 “符合 需求 "“ 符 合 需 求 ” 隐 含 着 需求 必须 明确 地 说 明 的 意思 ; 而 “ 适 于 使 用 ” 
隐 含 了 顾客 的 需求 和 预期 。 顾 客 的 需求 和 预期 包括 了 产品 和 服务 是 否 适合 顾客 使 用 。 

GB/T 6583 - ISO 8404 〈1994 版 )《 质 量 管理 与 质量 保证 术语 》 对 质量 的 定义 是 “ 反 
映 实体 满足 明确 的 和 隐 含 的 需要 的 能 力 的 特性 的 总 和 ”。 作 为 软件 质量 ， 在 GB/T 18905- 
ISO 14598 (1999 版 )《 软 件 工 程 产品 评价 》 中 也 是 这 样 定义 的 :“ 实 体 特性 的 总 和 ， 满 
足 明确 或 隐 含 要 求 的 能 力 ”。 


3.2 测度 与 度量 


一 个 实体 的 质量 好 坏 是 需要 测量 的 ， 而 测量 就 需要 首先 建立 质量 指标 体系 或 质量 模 
型 ， 然 后 使 用 特定 测量 方法 才能 实施 测量 。 测 度 的 运用 是 建立 测量 方法 的 依据 ， 也 是 解 
决 软件 质量 测量 的 关键 。 

测度 是 把 数字 和 符号 分 配给 现实 世界 实体 的 属性 ， 根 据 明 确定 义 规则 来 定义 它们 
Fenton[FEN91]。 运 用 测度 ， 人 们 能 较 好 地 理解 建立 质量 模型 的 属性 ， 并 评价 所 建立 的 工 
程 化 产品 或 系统 质量 。 昌 然 软 件 技术 度量 不 是 绝对 的 ， 但 测度 的 建立 提供 了 基于 一 套 清 
晰 定义 规则 的 系统 方法 来 评价 软件 质量 。 软 件 质量 模型 和 评价 技术 就 是 基于 运用 测度 的 
建立 原则 发 展 起 来 的 。 

软件 工程 中 使 用 的 “度量 ”有 多 种 含义 ， 在 软件 质量 中 用 于 测量 的 一 种 量化 的 标 度 
和 方法 即 为 “测度 ”， 而 名 词 的 “度量 ”用 来 指 测量 的 结果 。 
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3.3 ”软件 质量 模型 


从 测量 的 角度 看 ， 影 响 软件 质量 的 因素 可 以 分 为 两 大 类 ; 可 直接 测量 (如 每 个 功能 
点 的 错误 ) 和 间接 度量 〈 如 可 用 性 、 可 维护 性 )。 每 种 类 型 测度 都 必须 发 生 。 

早期 的 软件 质量 模型 是 1977 年 McCall 和 他 的 同事 建立 的 ， 提 出 了 影响 质量 因素 的 
有 用 的 分 类 。McCall 质量 模型 如 图 3-1 所 示 ， 集 中 在 软件 产品 的 三 个 重要 方面 ,操作 特 
性 〈 产 品 运行 )、 承 受 可 改变 能 力 〈 产 品 修订 )、 新 环境 适应 能 力 〈 产 品 变迁 )。 


可 维护 性 
灵活 性 
可 测试 性 


正确 性 可 邵 性 可 用 性 完整 性 功效 


3-] McCall 质量 模型 


1978 年 Boehm 和 他 的 同事 们 提出 了 分 层 结构 的 软件 质量 模型 ， 除 包含 了 用 户 的 期 
望 和 需要 的 概念 , 这 一 点 与 McCall 相同 之 外 , 还 包括 了 MecCall 模型 中 没有 的 硬件 特性 。 
Boehm 质量 模型 如 图 3-2 所 示 。 

Boehm 模型 始 于 软件 的 整体 效用 ， 从 系统 交付 后 涉及 不 同类 型 的 用 户 考虑 。 第 一 种 
用 户 是 初始 顾客 ， 系 统 做 了 顾客 所 期 望 的 事 ， 顾 客 对 系统 非常 满意 ; 第 二 种 用 户 是 要 将 
软件 移植 到 其 他 软 硬 件 系统 下 使 用 的 客户 ， 第 三 种 用 户 是 维护 系统 的 程序 员 。 三 种 用 户 
都 希望 系统 是 可 靠 有 效 的 。 因 此 ，Boehm 模型 反映 了 对 软件 质量 的 理解 ， 即 软件 做 了 用 
户 要 它 做 的 ， 有 效 地 使 用 系统 资源 ， 易 于 用 户 学 习 和 使 用 ， 易 于 测试 与 维护 。 

20 世纪 90 年 代 早期 ,软件 工程 组 织 试图 将 诸多 的 软件 质量 模型 统一 到 一 个 模型 中 ， 
并 把 这 个 模型 作为 度量 软件 质量 的 一 个 国际 标准 。 国 际 标准 化 组 织 1991 年 颁布 了 ISO 
9126-1991 标准 《软件 产品 评价 一 质量 特性 及 其 使 用 指南 》。 我国 也 于 1996 年 发 布 了 同 
样 的 软件 产品 质量 评价 标准 GB/T 16260-1996。 它 是 一 个 分 层 质 量 模 型 ， 有 6 个 影响 质 
量 的 特性 。 如 图 3-3 所 示 说 明了 质量 特性 与 质量 子 特性 的 层次 结构 。 
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图 3-2”Boehm 质量 模型 
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图 3-3 ISO 9126 质量 模型 
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标准 的 软件 质量 测度 是 这 样 建立 的 : 软件 质量 模型 分 三 个 层次 ， 第 一 层 有 6 个 影响 
软件 质量 的 主要 因素 ,在 标准 中 称 之 为 “质量 特性 ”。 而 每 个 质量 特性 又 可 以 通过 第 二 层 
的 若干 个 子 特性 测量 ， 第 二 层 的 每 个 子 特 性 在 评价 时 要 定义 并 实施 若干 个 度量 。 当 时 ， 
ISO 9126 资料 性 的 附录 中 给 出 了 21 个 子 特性 。 

ISO 9126 的 出 发 点 在 于 使 软件 最 大 限度 地 满足 用 户 的 明确 的 和 潜在 的 需求 。 这 6 个 
质量 特性 最 大 可 能 地 涵盖 了 其 他 早期 质量 模型 中 所 有 的 因素 ， 而 且 彼此 交叉 最 小 。 软 件 
质量 特性 与 子 特性 的 定义 是 从 用 户 的 角度 、 开 发 者 的 角度 和 管理 者 的 角度 全 方位 出 发 考 
虑 的 。 因 此 ，ISO 9126-1991 在 当时 是 最 为 先进 、 严 格 的 质量 模型 ， 它 划时代 地 统一 了 十 
几 年 来 国际 上 推出 的 各 种 质量 模型 。 


3.4 标准 的 发 展 


随 着 信息 技术 应 用 的 不 断 增 长 ,关键 的 计算 机 系统 的 数 重 也 在 增长 。 这 些 系统 包括 : 
安 人 全、 生活、 经 济 以 及 保密 方面 的 关键 系统 。 这 些 系 统 的 软件 质量 尤其 重要 ， 因 为 软件 
的 故障 可 能 导致 非常 严重 的 后 果 。 

纵 观 整个 软件 工程 的 历史 ， 提 高 软件 质量 已 成 为 最 重要 的 目标 。 评 价 软件 产品 的 质 
量 对 获取 和 开发 满足 质量 需求 的 软件 是 不 可 缺少 的 。 各 种 软件 质量 特性 的 相关 重要 性 取 
决 于 作为 整体 一 部 分 的 系统 的 任务 和 目标 ， 和 需要 评价 软件 产品 以 判断 其 相关 的 质量 特性 
是 否 满足 系统 的 需求 。 

到 1999 年 ， 国 际 软件 工程 标准 化 组 织 将 软件 “产品 评价 ”与 “产品 质量 ”分 成 两 
个 标准 ,“ 产 品评 价 ”注重 软件 质量 评价 的 支持 和 评价 过 程 ;“ 产 品质 量 ” 注 重 软件 本 身 
的 质量 度量 模型 。 

软件 质量 评价 的 基本 部 分 包括 ， 质 量 模型 、 评 价 方法 、 软 件 的 测量 和 支持 工具 。 要 
想 开发 好 的 软件 ， 就 要 规定 质量 和 需求， 策划 、 实 现 和 控制 软件 质量 保证 过 程 ， 应 评价 中 
间 产 品 和 最 终 产 品 。 要 达到 评价 软件 质量 的 目的 ， 应 用 有 效 的 度量 方法 测量 软件 的 质量 
属性 是 非常 必要 的 。 

GB/T 18905 一 2002 (ISO 14$98 一 1999) 《软件 工程 产品 评价 》 系 列 标准 为 软件 产品 
质量 的 测量 、 评 估 和 评价 提供 了 方法 。 它 所 描述 的 既 不 是 软件 生产 过 程 的 评价 方法 ， 也 
不 是 预算 成 本 的 方法 (软件 产品 的 质量 测量 当然 可 以 用 于 这 两 个 目的 )。 

因为 质量 特性 和 相关 的 度量 不 仅 可 用 于 软件 产品 评价 ， 而 且 也 可 用 于 质量 需求 的 定 
义 以 及 其 他 用 途 ， 国 际 软件 工程 标准 化 组 织 颁布 了 ISO 14598 一 1999《 软 件 工程 产品 评 
价 》， 而 在 2001 年 修订 了 ISO 9126 一 1991 标准 。 

所 以 ， 早 期 的 GB/T 16260 一 1996 (ISO 9126 一 1991)《 软 件 产品 评价 一 质量 特性 及 
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其 使 用 指南 》 已 经 被 两 个 相关 的 由 多 部 分 组 成 的 标准 : GB/T 18905 一 2002 (ISO 
14598 一 1999)《 软 件 工 程 产品 评价 》 和 GB/T 16260 一 2003 (ISO 9126 一 2001)《 软 件 工 
程 产品 质量 》 所 取代 。 


3.5 ”GB/T 18905 产品 评价 


3.5.1 GB/T 18905 基本 组 成 


GB/T 18905 一 2002《 软 件 工程 ”产品 评价 》。 该 系列 标准 由 以 下 6 个 部 分 组 成 。 
GB/T 18905.1《 软 件 工程 ”产品 评价 》 第 1 部 分 ， 概 述 。 
GB/T 18905.2《 软 件 工程 ”产品 评价 》 第 2 部 分 ， 策 划 和 管理 。 
GB/T 18905.3《 软 件 工程 ”产品 评价 》 第 3 部 分 ， 开 发 者 用 的 过 程 。 
GB/T 18905.4《 软 件 工 程 ”产品 评价 》 第 4 部 分 ， 需 方 用 的 过 程 。 
GB/T 18905.5《 软 件 工程 ”产品 评价 》 第 5 部 分 ， 评 价 者 用 的 过 程 。 
GB/T 18905.6《 软 件 工 程 ”产品 评价 》 第 6 部 分 ， 评 价 模块 的 文档 编制 。 

GB/T 18905.1 概述 了 软件 产品 评价 的 过 程 ， 提 供 了 评价 需求 和 指南 ;，GB/T 18905.2 
和 GB/T 18905.6 是 关于 公司 或 部 门 级 的 评价 管理 和 支持 ;GB/T 18905.3、GB/T 18905.4 
和 GB/T 18905.5 给 出 了 项 目 级 的 评价 需求 和 指南 。 如 图 3-4 所 示 给 出 了 这 些 标准 和 技术 
报告 之 间 的 关系 。 


3.5.2 ”评价 者 用 的 过 程 ( GB/T 18905.5 ) 


1. 开发 者 用 的 过 程 

计划 开发 新 产品 或 增强 现 有 的 产品 ， 以 及 打算 利用 他 们 自己 的 技术 人 员 进 行 产 品评 
价 的 组 织 应 使 用 GB/T 18905.3。 这 部 分 主要 强调 使 用 那些 能 预测 最 终 产品 质量 的 指标 ， 
这 些 指 标 将 通过 度量 在 生存 期 期 间 开 发 的 中 间 产 品 米 得 到 。 

2， 需 方 用 的 过 程 

计划 获取 或 复 用 某 个 已 有 的 软件 产品 或 预先 开发 的 软件 产品 的 组 织 应 使 用 GB/T 
18905.4。 该 部 分 可 用 来 决定 接受 产品 或 者 从 众多 可 选 产品 中 选择 某 个 产品 (产品 可 以 是 
自 包 含 的 ， 或 是 系统 的 一 部 分 ， 或 者 是 较 大 产品 的 一 部 分 )。 

3。 评价 者 用 的 过 程 

对 软件 产品 执行 独立 评估 的 评价 者 应 使 用 GB/T 1890$.$S。 这 种 评价 是 应 开发 者 、 震 
方 或 其 他 方 的 请 求 来 进行 的 。 这 部 分 将 由 那些 执行 独立 评价 的 人 员 使 用 ， 他 们 通常 为 第 
三 方 组 织 工 作 。 
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3.5.3 ”关于 评价 支持 


上 述 每 个 评价 过 程 的 标准 都 能 与 GB/T 18905.2 (策划 和 管理 ) 和 GB/T 18905.6 ( 评 
价 模 块 的 文档 编制 ) 结合 起 来 使 用 (如 图 3-4 所 示 )。 


2， 策 划 和 管理 


评价 支持 标准 


| 656， 评价 模块 的 文档 编制 ， 


评价 过 程 


3， 开 发 者 用 的 过 程 5， 评 价 者 用 的 过 程 


3-4 评价 过 程 与 评价 支持 标准 的 关系 


1. 策划 和 管理 

GB/T 18905.2 为 策划 和 管理 部 分 ,包含 对 软件 产品 评价 的 支持 功能 的 需求 和 指南 。 这 
种 支持 与 策划 和 管理 软件 评价 过 程 及 相关 的 活动 有 关 , 包括 组 织 内 评价 专业 知识 的 开发 、 
获取 、 标 准 化 、 控 制 、 转 换 和 反馈 。 可 供 管理 者 制定 一 个 定量 的 评价 计划 。 

2. 评价 模块 

GB/T 18905.6 为 编制 评价 模块 的 文档 提供 指南 。 这 些 模块 包括 质量 模型 的 规范 〈 即 
特性 、 子 特性 和 相应 的 内 部 或 外 部 度量 )， 与 模型 计划 的 应 用 有 关 的 数据 、 信 息 和 与 模型 
的 实际 应 用 有 关 的 信息 。 每 种 评价 都 应 选择 适当 的 评价 模块 。 在 某 些 情况 ， 还 有 必要 开 
发 新 的 评价 模块 ， 以 供 组 织 用 来 产生 新 的 评价 模块 。 


3.5.4 通用 评价 过 程 


软件 产品 的 一 般 评 价 过 程 是 ， 确 立 评价 需求 ， 然 后 ， 规 定 、 设 计 和 执行 评价 ， 如 
图 3-5 所 示 。 


3.5.5 评价 需求 


软件 质量 评价 的 目的 是 为 了 直接 支持 开发 和 获得 能 满足 用 户 和 消费 者 要 求 的 软件 。 
最 终 目 标 是 保证 产品 能 提供 所 要 求 的 质量 ， 即 满足 用 户 〈 包 括 操作 者 、 软 件 结果 的 接受 
者 ， 或 软件 的 维护 者 ) 明确 和 隐 含 的 要 求 。 

(1) 评价 中 间 产 品质 量 的 目的 

e。 决定 〈 是 否 ) 接受 分 包 商 交 付 的 中 间 产 品 ; 

。 决定 某 个 过 程 的 完成 ， 以 及 何 时 把 产品 送 交 下 个 过 程 ; 
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确立 评价 目的 
确立 评价 需求 确定 产品 类 型 
指定 质 最 模型 ---- 站 6260.1 ”质量 特 量 
16260.2 ”外 部 度量 
选择 度 最 ----116260.3 ”内 部 度量 
18905.6 ”评价 模块 


规定 评价 建立 度量 评定 等 级 


确立 评估 准则 

制定 评价 计划 
进行 度量 

与 评估 准则 相 比 较 
评估 结果 


图 3-$ 软件 评价 过 程 


。 预计 或 估计 最 终 产 品 的 质量 ; 

。 收集 中 间 产 品 的 信息 以 便 控制 和 管理 过 程 。 
(2) 评价 最 终 产 品质 量 的 目的 

决定 (是 否 ) 接受 产品 ; 
决定 何 时 发 布 产 品 ; 

与 相互 竞争 的 产品 进行 比较 ; 

从 众多 可 选 的 产品 中 选择 一 种 产品 ; 

使 用 产品 时 评估 产品 积极 和 消极 的 影响 
决定 何 时 增强 或 替换 该 产品 。 


3.5.6 “确定 要 评价 产品 的 类 型 


要 评价 的 中 间或 最 终 软 件 产品 的 类 型 取决 于 所 处 的 生存 周期 的 阶段 和 评价 的 目的 ， 
如 图 3-6 所 示 。 
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Ee ee EE Ey EE Ey si i i i i i i i i i i ss 


需求 


操作 
真实 世界 外 部 度量 

规格 说 明 | 系统 集成 和 测试 
系统 行为 | 外 部 度量 | 
设计 和 开发 

软件 局 性 | 内 部 度 重 


图 3-6 软件 生存 周期 中 的 质量 


3.5.7 ”度量 之 间 的 关系 


将 软件 的 内 部 质量 属性 与 外 部 质量 需求 联系 起 来 是 十 分 重要 的 ， 使 得 开发 中 的 软件 
产品 《中 间 和 最 终 的 软件 产品 ) 的 质量 特性 可 以 根据 地 终 系统 使 用 质量 珊 求 来 进行 评 佑 。 
内 部 度 基 的 值 很 低 ， 除 非 有 证 据 表 明 它 与 外 部 质 直 有关。 如 图 3-7 所 示 。 


3.5.8 规定 质量 模型 


软件 评价 所 用 的 质量 模型 通常 代表 软件 质量 属性 的 总 体 ， 这 些 质量 属性 用 特性 和 子 
特性 的 分 层 树 结构 进行 分 类 。 该 结构 的 最 商 级 由 质量 特性 构成 ， 最 低级 由 软件 质量 属性 
构成 。GB/T 16260.1 提供 了 一 个 通用 模型 ， 它 定义 了 6 种 软件 质量 特性 ， 包 括 功 能 性 、 
可 靠 性 、 易 用 性 、 效 率 、 可 维护 性 和 可 移植 性 。 这 些 特性 还 能 进一步 被 分 解 为 具有 可 测 
量 属 性 的 子 特 性 。 在 特定 的 使 用 环境 下 ， 质 量 特性 的 组 合 效应 被 定义 为 使 用 质量 。 
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| | wR 


站 和 : 
[ee SR 
ee 7 


软件 的 内 部 度量 | 一 一 测 是 一 一 六 | ”软件 的 内 部 性 质 


图 3-7 度量 之 间 的 关系 


软件 产品 的 内 部 质量 属性 是 软件 产品 的 可 测量 的 性 质 ， 这 些 性 质 影响 产品 满足 明确 
i eT TR SA DEI A 
如 图 3-8 所 示 。 


内 部 属性 特性 。 ”外 部 属性 
图 3-8 “质量 特性 、 子 特性 和 属性 


3.5.9 ”规定 评价 


(1) 选择 度量 
重要 的 是 软件 产品 的 测量 要 能 既 简 单 又 经 济 地 进行 ， 而 且 测 量 结果 要 易于 使 用 。 对 
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许多 软件 的 测量 可 以 方便 地 用 某 种 工具 来 进行 ， 也 可 以 打包 成 一 个 评价 模块 《 见 GB/T 
18905.6)。 

质量 特性 的 定义 方式 不 允许 对 它们 进行 直接 测量 。 需 要 建立 与 软件 产品 特性 相关 的 
度量 。 与 某 个 质量 特性 相关 的 每 个 可 量化 的 软件 内 部 属性 和 每 个 可 量化 的 软件 外 部 属性 ， 
与 其 软件 环境 进行 相互 作用 ， 人 能 被 确立 为 一 种 度量 。 

度量 可 以 随 环 境 和 应 用 度量 的 开发 过 程 阶段 的 不 同 而 有 所 区 别 。 用 于 开发 过 程 的 度 
重 应 与 用 户 观点 的 度量 有 关 ， 因 为 从 用 户 视角 出 发 的 度量 是 至 关 重 要 的 。 

(2) 测量 的 种 类 

评价 有 两 个 主要 目的 。 

e 确定 问题 以 便 解 决 问题 

e 与 可 替换 的 产品 进行 比较 ， 或 对 照 需 求 比 较 产 品质 量 。 

所 和 需 的 测量 种 类 取决 于 评价 的 目的 。 如 果 主 要 目的 是 为 了 了 解 和 纠正 缺陷 ， 可 以 对 
软件 采取 多 种 测量 ， 以 便 监 视 和 控制 改进 。 

(3) 确立 度量 评定 等 级 

可 量化 的 特征 可 以 用 度 重 质量 的 方法 进行 定量 的 测量 。 其 结果 是 ， 将 测量 值 映 射 到 
某 一 标 度 上 。 这 个 值 本 身 并 不 表示 满意 的 等 级 ， 因 此 ， 这 一 标 度 必须 根据 需求 的 不 同 满 
意 度 级 别 分 成 不 同 的 范围 。 例 如 ， 将 标 度 分 成 两 类 ， 满意 和 不 满意 ; 将 标 度 分 成 四 类 : 
针对 已 有 产品 或 可 状 换 产品 的 当前 级 、 最 差 级 和 计划 级 划分 成 四 类 ， 即 超出 要 求 、 目 标 
范围 、 可 接受 的 最 低 限度 、 不 可 接受 。 定 义 当 前 级 是 为 控制 新 系统 不 因 当 前 状况 而 恶化 ; 
计划 级 是 指 一 旦 资源 可 利用 ， 产 品 即 可 获得 ， 最 差 级 是 指 万 一 产品 不 符合 计划 级 时 用 户 
的 可 接受 边界 如 图 3-9 所 示 。 


超出 要 求 
计划 级 
和 目标 范围 we 
当前 级 
| 可 接受 的 最 低 限 度 
最 差 情况 
不 可 接受 不 满意 
测量 标 度 评定 等 级 
图 3-9 度量 的 等 级 
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(4) 确立 评估 准则 

软件 质量 需求 规格 说 明 应 使 用 定义 良好 的 、 适当 的 质量 模型 来 表示 。 为 此 ， 除 非 有 
特殊 原因 和 需 使 用 其 他 模型 外 ， 应 使 用 GB/T 16260.1 中 的 质量 模型 和 定义 。 

为 了 评估 产品 质量 ， 和 需要 总 结 针 对 不 同 特性 的 评价 结果 。 评 价 者 应 为 此 准备 一 个 规 
程 ， 其 中 ， 对 不 同 的 质量 特性 使 用 不 同 的 评价 准则 ， 每 个 质量 特性 又 以 数 个 子 特性 或 子 
特性 的 加 权 组 合 来 说 明 。 规 程 通常 还 包括 时 间 和 成 本 等 有 助 于 在 特定 环境 下 评估 软件 产 
品质 量 的 其 他 方面 。 


3.6_GB/T 16260.1 产品 质量 


3.6.1 基本 组 成 


GB/T 16260 一 2003《 软 件 工程 ”产品 质量 》。 该 系列 标准 由 以 下 4 部 分 组 成 。 
。 GB/T 16260.1《 软 件 工程 ”产品 质量 》 第 1 部 分 ， 质 量 模型 。 

。 GB/T 16260.2《 软 件 工 程 ”产品 质量 》 第 2 部 分 ， 外 部 度量 。 

。 GB/T 16260.3《 软 件 工程 ”产品 质量 》 第 3 部 分 ， 内 部 度量 。 

。 GB/T 16260.4《 软 件 工程 “产品 质量 》 第 4 部 分 ， 使 用 质量 度量 。 


3.6.2 ”标准 概述 


1， 标 准 的 变化 

国际 上 在 2001 年 对 软件 质量 特性 评价 标准 ISO 9126 进行 了 修订 ， 保 留 了 原来 的 6 
个 软件 质量 特性 ,定义 了 一 个 通用 的 质量 模型 ， 并 给 出 了 度量 的 例子 。 与 原 标 准 相 比 ， 其 
主要 区 别 在 于 ， 

。 质量 特性 中 增加 了 使 用 质量 特性 ; 

。 质量 度量 分 为 外 部 度量 、 内 部 度量 和 使 用 质量 度量 ; 

。 子 特性 作为 标准 的 一 部 分 ， 在 原版 标准 资料 性 附录 中 的 子 特性 基础 上 增加 了 

一 些 ; 

e。 删除 了 评价 过 程 内 容 〈 已 在 ISO 14598 中 进行 了 说 明 ); 

e 与 ISO 14598 的 内 容 基 本 协调 。 

我 国 在 2003 年 颁布 的 GB/T 16260 一 2003(ISO 9126 一 2001)《 软 件 工 程 产品 质量 》 
取代 了 1996 年 颁布 的 GB/T 16260《 软 件 产品 评价 一 质量 特性 及 其 使 用 指南 》。 

2. 标准 之 间 的 关系 

GB/T 18905.1 概述 是 产品 评价 标准 的 总 则 ，GB/T 16260 的 评价 过 程 与 度量 是 遵循 
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GB/T 18905 的 。 如 图 3-10 所 示 描 述 了 GB/T 18905 和 GB/T 16260 系列 标准 之 间 的 关系 。 


资源 与 评价 人 fi 
环境 过 程 N 


评价 过 程 | | 内 部 度量 ”| | ”外 部 度量 


I SI 
= 
-GHz60.1 质量 机 


图 3-10 GB/T 18905 和 GB/T 16260 系列 标准 之 间 的 关系 


GBI/T 18905 的 各 个 部 分 应 与 GB/T 16260 中 描述 软件 质量 特性 和 度量 部 分 一 起 使 用 。 
3.6.3 ”标准 的 范围 


标准 可 从 软件 的 获取 、 锁 求 、 开 发 、 使 用 、 评 价 、 支 持 、 维 护 、 质 量 保 证 和 审核 相 
关 的 不 同 观点 来 确定 和 评价 软件 产品 的 质量 。 

可 以 锌 开发 者 、 需 方 、 质 量 保证 人 员 和 独立 评价 者 ， 特 别 是 那些 对 确定 和 评价 软件 
产品 质量 负责 的 人 员 所 使 用 。 

本 标准 中 定义 的 质量 模型 使 用 实例 是 ; . 

e。 确认 和 需求 定义 的 完整 性 ; 

e 确定 软件 生 求 ; 

。 确定 软件 设计 目标 ; 

e 确定 软件 测试 目标 ; 

e 确定 质证 保证 准则 ; ， 

e 为 完整 的 软件 产品 确定 验收 准则 。 

软件 质量 标准 还 可 以 和 软件 质量 保证 过 程 ， 以 及 与 软件 过 程 改进 有 关 的 标准 一 起 
使 用 。 
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3.6.4 质量 模型 框架 


1. 软件 质量 特性 与 度量 

。 质量 特性 和 子 特性 〈GBAT 16260.1); 

e。 外 部 度量 (GBAT 16260.2); 

。 内 部 度量 (GBAT 16260.3 )。 

GB/T 16260.1 定义 了 质量 特性 、 相 关 的 子 特性 以 及 GB/T 16260 质量 模型 上 面 三 层 
之 间 的 关系 。GB/T 16260.2 和 GB/T 16260.3 确定 了 每 种 度量 (外 部 和 内 部 的 ) 与 其 相应 
的 特性 和 子 特 性 之 间 的 关系 ， 如 图 3-11 所 示 。 注 意 ， 某 些 内 部 度量 有 对 应 的 外 部 度量 。 


1， 质 量 特性 和 子 特性 | 


2， 外 部 度量 


TI 


图 3-11 软件 质量 特性 与 度 熏 


2， 质 量 途 径 

新 版 GB/T 16260 的 用 户 质 量 要 求 包括 : 在 特定 的 使 用 环境 和 条 件 下 对 使 用 质量 的 
需求， 而 在 规定 外 部 质量 和 内 部 质量 的 特性 和 子 特性 时 也 可 以 使 用 这 些 希 求 。 

软件 产品 质量 可 以 通过 测量 内 部 属性 ， 或 者 测量 外 部 属性 ， 或 者 测量 使 用 质量 的 属 
性 来 评价 。 目标 就 是 使 产品 在 特定 的 使 用 环境 和 条 件 下 具有 所 和 需 的 效用 , 如 图 3-12 所 示 。 


过 程 软件 产品 软件 产品 的 效用 


图 3-12 ”生存 周期 的 质量 途径 


过 程 质量 有 助 于 提高 产品 质量 ， 而 提高 产品 质量 有 助 于 提高 使 用 质量 。 因 此 ， 评 估 
和 改善 过 程 是 提高 产品 质量 的 一 种 手段 ， 而 评价 和 改进 产品 质量 是 提高 使 用 质量 的 一 种 
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方法 。 同 样 ， 评 价 使 用 质量 可 以 为 改进 产品 提供 反馈 ， 而 评价 产品 则 可 以 为 改善 过 程 提 
供 反 馈 。 适 当 的 软件 内 部 属性 是 获得 所 需 外 部 特性 的 先决 条 件 ， 而 适当 的 外 部 特性 则 是 
获得 使 用 质量 的 先决 条 件 。 

软件 产品 质量 需求 包括 内 部 质量 、 外 部 质量 和 使 用 质量 的 评估 准则 ， 以 满足 开发 者 、 
维护 者 、 和 需求 方 以 及 最 终 用 户 的 需要 。 

3. 产品 质量 和 生存 周期 

内 部 质量 、 外 部 质量 和 使 用 质量 的 观点 在 软件 生存 周期 中 是 变化 的 。 

在 软件 生存 周期 的 不 同 阶 段 存 在 着 关于 产品 质量 和 相关 度量 的 不 同 观 点 ， 如 图 3-13 
所 示 。 


图 3-13 软件 生存 周期 的 质 坟 


(1) 用 户 的 质量 要 求 
可 技 使 用 质量 的 度量 、 外 部 度量 或 内 部 度量 来 规定 质量 需求 。 当 验证 产品 时 ， 这 些 
由 度量 规定 的 需求 应 作为 准则 使 用 。 
(2) 外 部 质 是 渍 求 
从 外 部 观点 来 规定 必须 的 质量 级 别 ， 包 括 来 源 于 用 户 质 重要 求 〈 使 用 质量 需求 )。 
外 部 质量 需求 用 作 不 同 开发 阶段 的 验证 目标 。 
(3) 内 部 质量 需求 
内 部 质量 需求 是 从 产品 的 内 部 观点 来 规定 必须 的 质量 水 平 。 内 部 质 重 需求 用 来 规定 
中 间 产 品 的 属性 ， 包 括 静 态 的 和 动态 的 模型 、 其 他 的 文档 和 源 人 代码。 内 部 质量 需求 可 用 
作 不 同 开发 阶段 的 验证 目标 。 
(4) 使 用 质量 
使 用 质量 是 从 用 户 观 点 出 发 ， 来 看 待 软件 产品 用 于 特定 环境 和 条 件 下 的 质量 。 它 测 
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量 用 户 在 特定 环境 中 达到 其 任务 目标 的 程度 ， 而 不 是 测量 软件 自身 的 性 质 。 

(5) 外 部 质量 

外 部 质量 是 从 外 部 观点 出 发 的 软件 产品 特性 的 总 体 。 它 是 当 软 件 执 行 时 ， 更 典型 地 
”是 使 用 外 部 度量 在 模拟 环境 中 ， 用 模拟 数据 测试 时 ， 所 被 测量 和 评价 的 质量 。 

(6) 内 部 质量 | 

内 部 质量 是 从 内 部 观点 出 发 的 软件 产品 特性 的 总 体 。 内 部 质量 是 针对 内 部 质量 需求 
被 测量 和 评价 的 质量 。 


3.6.5 ”外 部 质量 和 内 部 质量 的 质量 模型 


外 部 质量 和 内 部 质量 的 质量 模型 软件 ， 其 质量 属性 划分 为 6 种 特性 〈 功 能 性 、 可 入 
性 、 易 用 性 、 效 率 、 维 护 性 和 可 移植 性 )， 并 进一步 细 分 为 一 些 子 特性 ， 如 图 3-14 所 示 。 


外 部 质量 和 
内 部 质量 


3-14 ”外 部 质量 和 内 部 质量 的 质量 模型 


软件 的 每 个 质量 特性 和 子 特 性 都 有 定义 。 对 于 每 个 特性 和 子 特性 ， 软 件 的 能 力 由 可 
测量 的 一 组 内 部 属性 决定 ， 内 部 度量 的 示例 在 GB/T 16260.3 中 给 出 。 这 些 特性 和 子 特性 
根据 包含 该 软件 的 系统 提供 能 力 的 程度 从 外 部 进行 测量 ， 外 部 度量 的 示例 在 GB/T 
16260.2 中 给 出 。 

1. 功能 性 

功能 性 是 指 当 软件 在 指定 条 件 下 使 用 时 ， 软 件 产品 满足 明确 和 隐 含 要 求 功能 的 
能 力 。 
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(1) 适合 性 

适合 性 是 指 软件 产品 为 指定 的 任务 和 用 户 目标 提供 一 组 合适 的 功能 的 能 力 。 

(2) 准确 性 

准确 性 是 指 软件 产品 具有 所 和 需 精 确 度 的 正确 或 相符 的 结果 及 效果 的 能 力 。 
(3) 互 操作 性 

互 操作 性 是 指 软件 产品 与 一 个 或 更 多 的 规定 系统 进行 交互 的 能 力 。 

(4) 保密 安全 

保密 安全 是 指 软件 产品 保护 信息 和 数据 的 能 力 ， 以 使 未 授权 的 人 员 或 系统 不 能 阅读 


或 修改 这 些 信 息 和 数据 ， 但 不 拒绝 授权 人 员 或 系统 对 它 们 的 访问 。 


(5) 功能 性 依从 性 
功能 性 依从 性 是 指 软件 产品 依附 于 同 功能 性 相关 的 标准 、 约 定 或 法 规 以 及 类 似 规 定 


的 能 力 。 


2， 可靠 性 

在 指定 条 件 下 使 用 时 ,. 软件 产品 维持 规定 的 性 能 级 别 的 能 力 。 

(1) 成 熟 性 

成 熟 性 是 指 软件 产品 避免 因 软件 中 错误 的 发 生 而 导致 失效 的 能 力 。 

(2) 容错 性 

客 错 性 是 指 在 软件 发 生 故障 或 者 违反 指定 接口 的 情况 下 ， 软 件 产品 维持 规定 的 性 能 


级 别 的 能 力 。 


(3) 易 恢 复 性 
易 恢复 性 是 指 在 失效 发 生 的 情况 下 ， 软 件 产品 重建 规定 的 性 能 级 别 并 恢复 受 直 接 影 


响 的 数据 的 能 力 。 


(4) 可 僻 性 依从 性 

可 靠 性 依从 性 是 指 软 件 产品 依附 于 同 可 僻 性 相关 的 标准 、 约 定 或 规定 的 能 力 。 
3。 易 用 性 

易 用 性 是 指 在 指定 条 件 下 使 用 时 ， 软 件 产品 被 理解 、 学 习 、 使 用 和 吸引 用 户 的 能 力 。 
(1) 易 理 解 性 

易 理 解 性 是 指 软件 产品 使 用 户 能 理解 软件 是 否 合适 以 及 如 何 能 将 软件 用 于 特定 的 


任务 和 使 用 环境 的 能 力 。 


(2) 易学 性 

易学 性 是 指 软 件 产品 使 用 户 能 学 习 它 的 能 力 。 
(3) 易 操 作 性 

易 操作 性 是 指 软 件 产品 使 用 户 能 操作 和 控制 它 的 能 力 。 
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(4) 吸引 性 

吸引 性 是 指 软件 产品 吸引 用 户 的 能 力 。 

(5) 易 用 性 依从 性 , 

Ce 
能 力 。 
” 4. 效率 

效率 是 指 在 规定 条 件 下 ， 相 对 于 所 用 资源 的 数量 ， 软 件 产品 可 提供 适当 的 性 能 的 
能 力 。 

(1) 时 间 特 性 

时 间 特性 是 指 在 规定 条 件 下 ， 软 件 产品 执行 其 功能 时 ， 提 供 适当 的 响应 和 处 理 时 间 
以 及 吞吐 率 的 能 力 。 

(2) 资源 利用 性 : 

资源 利用 性 是 指 在 规定 条 件 下 ， 软件 产品 执行 其 功能 时 ， 使 用 合适 的 数量 和 类型 的 
资源 的 能 力 。 

(3) 效率 依从 性 

效率 依从 性 是 指 软件 产品 依附 于 同 效率 相关 的 标准 或 约定 的 能 力 。 

S， 维护 性 

维护 性 是 指 软件 产品 可 被 修改 的 能 力 。 修 改 可 能 包括 修正 、 改 进 或 软件 适应 环境 、 
需求 和 功能 规格 说 明 中 的 变化 。 

(1) 易 分 析 性 

人 
能 力 。 

(2) 易 改 变性 

易 改变 性 是 指 软件 产品 使 指定 的 修改 可 以 被 实现 的 能 力 。 

(3) 稳定 性 

稳定 性 是 指 软件 产品 避免 由 于 软件 修改 而 造成 意外 结果 的 能 力 。 

《4) 易 测 试 性 

易 测试 性 是 指 软件 产品 使 已 修改 软件 能 被 确认 的 能 力 。 

《5) 维护 性 依从 性 

维护 性 依从 性 是 指 软件 产品 依附 于 同 维护 性 相关 的 标准 或 约定 的 能 力 。 

6. 可 移植 性 : 

die do ddd a 

(1) 适应 性 


www.TopSage.com 


90 软件 评测 师 教程 


适应 性 是 指 软件 产品 无 需 采 用 有 别 于 为 考虑 该 软件 的 目的 而 准备 的 活动 或 手段 ， 就 
可 能 适应 不 同 的 指定 环境 的 能 力 。 

(2) 易 安 装 性 

易 安 装 性 是 指 软件 产品 在 指定 环境 中 被 安装 的 能 力 。 

(3) 共存 性 

共存 性 是 指 软件 产品 在 公共 环境 中 同 与 其 分 享 公 \ 共 资源 的 其 他 独立 软件 共存 的 
能 力 。 

(4) 易 替 换 性 

易 蔡 换 性 是 指 软件 产品 在 环境 相同 、 目 的 相同 的 情况 下 替代 另 一 个 指定 软件 产品 的 
能 力 。 

(5) 可 移植 性 依从 性 

可 移植 性 依从 性 是 指 软件 产品 依附 于 同 可 移植 性 相关 的 标准 或 约定 的 能 力 。 


3.6.6 ”使 用 质量 的 质量 模型 


使 用 质量 是 从 用 户 角度 看 待 的 质量 ,其 局 性 分 为 4 种: 有效 性 、 生 产 率 、 安 全 性 和 满 
意 度 ， 如 图 3-15 所 示 。 


图 3-15 ”使 用 质量 的 质量 模型 


软件 产品 具有 指定 用 户 在 指定 的 使 用 环境 下 ， 获 得 与 有 将 性 、 生 产 率 、 安 全 性 和 满 
意 度 相 关 的 规定 目标 的 能 力 。 

(1)》 有效 性 . 

有 效 性 是 指 软件 产品 在 指定 的 使 用 环境 下 ， 使 用 户 获 得 满足 准确 度 和 完整 性 要 求 的 
规定 目标 的 能 力 。 

(2) 生产 率 

生产 率 是 指 软件 产品 在 指定 的 使 用 环境 下 ， 使 用 户 可 使 用 与 获得 的 有 效 性 有 关 的 合 
适 数 量 资源 的 能 力 。 

(3) 安全 性 

安全 性 是 指 软 件 产品 在 指定 使 用 环境 下 ， 获 得 可 接受 的 对 人 人 类、 事务、 软件 。 财产 
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或 环境 有 害 的 风险 级 别 的 能 力 。 
(4) 满意 度 a 
满意 度 是 指 软 件 产 品 在 指定 使 用 环境 下 ， 使 用 户 满意 的 能 力 。 


3.7 ”软件 测试 国家 标准 


目前 广泛 使 用 的 软件 测试 国家 标准 包括 : 

GB/T 9386 一 1988《 计 算 机 软件 测试 文件 编制 规范 》。 

GB/T 15532 一 1995《 计 算 机 软件 单元 测试 规范 》。 

GB/T 17544 一 1998《 信 息 技 术 软件 包 质量 要 求 和 测试 》。 

GB/T 16260.1 一 2003《 软 件 工程 产品 质量 》 第 1 部 分 ， 质 量 模型 。 

GB/T 16260.2 一 200X《 软 件 工程 产品 质量 》 第 2 部 分 ， 外 部 度 重 。 

GB/T 16260.3 一 200X《 软 件 工程 ”产品 质量 》 第 3 部 分 ， 内 部 度量 。  . 
GB/T 16260.4 一 200X《 软 件 工程 产品 质量 》 第 4 部 分 ， 使 用 质量 度量 。 
GB/T 18905.1 一 2002《 软 件 工 程 产品 质量 》 第 1 部 分 ， 概 述 。 

GB/T 18905.2 一 2002《 软 件 工程 ”产品 质量 》 第 2 部 分 ， 策 划 和 管理 。 
GB/T 18905.3 一 2002《 软 件 工程 ”产品 质量 》 第 3 部 分 ， 开 发 者 用 的 过 程 。 
GB/T 18905.4 一 2002《 软 件 工程 ”产品 质量 》 第 4 部 分 ， 需 方 用 的 过 程 。 
GB 18905.5 一 2002《 软 件 工 程 ”产品 质量 》 第 5 部 分 ， 评 价 者 用 的 过 程 。 
GB/T 18905.6 一 2002《 软 件 工 程 “产品 质量 》 第 6 部 分 ， 评 价 模 块 文档 编制 。 
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众所周知 ， 采 用 先进 的 标准 、 方 法 和 工具 对 于 软件 测试 是 十 分 重要 的 ， 但 是 成 功 的 
软件 测试 是 离 不 开 对 测试 的 组 织 与 过 程 的 管理 的 ， 没 有 目标 、 没 有 组 织 、 没 有 过 程控 制 
的 测试 是 注定 要 失败 的 。 一 个 软件 的 测试 工作 ， 不 是 一 次 简单 的 测试 活动 ， 它 与 软件 开 
发 一 样 ， 是 属于 软件 工程 中 的 一 个 项 目 ， 因 此 ， 软 件 测试 的 过 程 管理 是 测试 成 功 的 重要 
保证 。 


4.1 软件 测试 过 程 


开发 过 程 的 质量 决定 了 软件 的 质量 ， 同 样 地 ， 测 试 过 程 的 质量 决定 了 软件 测试 的 质 
和 量 和 有 效 性 。 软 件 测 试 过 程 的 管理 是 保证 测试 过 程 质量 、 控 制 测试 风险 的 重要 活动 。 软 
件 测试 和 软件 开发 一 样 ， 都 遵循 软件 工程 的 原理 ， 有 它 自己 的 生命 周期 。 软 件 的 测试 过 
程 一 般 分 成 测试 计划 、 测 试 设计 与 开发 、 测 试 实施 、 测 试 评审 与 测试 结论 等 阶段 。 对 每 
个 阶段 的 任务 、 输 入 和 输出 都 有 明确 的 规定 ， 以 便 对 整个 测试 过 程 进行 质量 控制 和 配置 
管理 。 

软件 测试 过 程 是 一 种 抽象 的 、 遵 循 GB/T 18905 (ISO 14598.5)《 评 价 者 用 的 过 程 
(Process for Evaluator)》 中 定义 软件 评价 过 程 的 模型 ， 是 国际 上 共同 遵守 的 软件 评测 过 
程 标准 ， 是 软件 测试 过 程 管理 的 精 葛 。 标 准 定义 了 分 析 各 类 软件 产品 的 评测 需求 ， 规 定 、 
设计 、 实 施 、 评 审 以 及 对 评测 做 出 结论 所 需 的 各 种 活动 。 本 章 介 绍 的 主要 内 容 ， 可 作为 
软件 测试 过 程 工作 内 容 与 管理 的 基本 原则 。 为 符合 GB/T 18905 基本 原理 ， 仍 保留 “ 评 
价 过 程 ” 的 标准 用 语 。 


4.2 评价 过 程 的 特性 


可 重复 性 ， 由 同一 评价 者 按 同 一 评价 规格 说 明 对 同一 产品 进行 重复 地 评价 ， 应 
产生 同一 种 可 接受 的 结果 。 

外 可 再 现 性 : 由 不 同 评价 者 按 同 一 评价 规格 说 明 对 同一 产品 进行 评价 ， 应 产生 同 
一 种 可 接受 的 结果 。 

@ 公正 性 : 评价 应 不 偏向 任何 特殊 的 结果 。 
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由 客观 性 : 评价 结果 应 是 客观 事实 ， 即 不 带 有 评价 者 的 感情 色彩 或 主观 意见 。 


4.3 ”评价 过 程 
4.3.1 评价 活动 


评价 过 程 由 下 列 5 个 活动 组 成 ; 

(1) 确立 软件 评价 需求 

(2) 编制 评价 规格 说 明 

根据 请 求 者 提供 的 评价 需求 和 产品 描述 编制 。 

(3) 制定 评价 计划 

在 评价 规格 说 明 的 基础 上 设计 评价 ， 需 考虑 要 测 软 件 的 部 件 和 评价 者 建议 的 评价 
方法 。 
(4) 评价 执行 计划 
。 按照 评价 计划 对 产品 及 其 部 件 进 行 检查 、 建 模 、 测 量 和 评价 。 
。 可 以 用 软件 工具 (通常 由 评价 者 提供 ) 来 实施 。 
。 记录 评价 者 的 执行 动作 ， 所 得 的 结果 被 记 入 评价 报告 草案 。 
(5) 作 评 价 结论 
交付 评价 报告 和 评价 者 对 评价 产品 所 做 的 处 理 。 


4.3.2 ”评价 过 程 的 输入 


请 求 者 提供 其 需求 ， 并 作为 评价 需求 的 最 初版 本 。 

。 请求 者 提供 下 列 评价 过 程 的 输入 。 

QD 软件 的 说 明 书 ， 

@@ 软件 的 部 件 。 软 件 的 说 明 书 标识 的 软件 产品 以 及 供 评价 的 部 件 。 
。 评价 者 提供 下 列 评价 过 程 输 入 。 

QW 预先 确定 的 评价 规格 说 明 ; 

包 评价 方法 ; 

@ 评价 工具 。 


4.3.3 评价 过 程 的 输出 
在 评价 期 间 ， 评 价 者 提供 下 列 输 出 产品 : 
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J 评价 记录 ， 包 括 评价 计划 和 评价 动作 的 记录 ; 
四 评价 报告 草案 ， 包 括 评价 需求 ， 评 价 规格 说 明和 综合 的 评价 结果 ; 
名 经 过 评审 的 评价 报告 。 


4.3.4 评价 过 程 文 档 


评价 需求 、 评 价 规格 说 明和 评价 计划 是 评价 过 程 的 中 间 产 品 ; 评价 记录 和 评价 报告 
是 评价 过 程 的 最 终 产 品 。 

@ 评价 需求 ， 描 述评 价 的 目标 ， 特 别 是 描述 了 产品 的 质量 需求 。 

@ 评价 规格 说 明 : 确定 对 软件 及 其 部 件 实行 的 所 有 分 析 和 测量 ， 标 识 要 分 析 和 测 
蔓 的 软件 部 件 。 

@ 评价 计划 : 描述 评价 规格 ， 说 明 需 要 实施 的 操作 规程 ， 描 述评 价 所 需 用 到 的 方 
法 和 工具 。 

评价 记录 : 评价 执行 计划 时 详细 记载 的 动作 组 成 ;记录 由 评价 者 保留 。 

@ 评价 报告 ， 执 行 测 量 和 分 析 的 结果 ， 以 及 能 被 重复 和 重新 评价 的 必要 信息 。 评 
价 报告 首先 作为 评审 草案 来 发 布 ， 其 最 终 版 本 将 交 给 请 求 者 。 

如 图 4-1 所 示 给 出 了 上 面 描述 过 程 的 概述 ， 标 识 了 各 活动 之 间 的 信息 流 。 
请 求 者 
的 策 求 


图 4-1 软件 测试 过 程 
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4.4 ”评价 与 生存 周期 的 关系 


评价 软件 产品 可 以 在 任何 软件 生存 周期 过 程 的 范围 内 进行 。 特 别 是 ， 评 价 能 在 软件 
获取 、 供 应 、 开 发 、 运 行 或 维护 过 程 中 进行 。 

在 软件 开发 过 程 中 可 尽早 决定 是 否 执行 软件 产品 的 评价 。 如 果 在 开发 过 程 的 开始 阶 
段 能 确定 下 来 ， 就 有 可 能 把 评价 要 执行 的 测量 和 评价 放 入 软件 开发 的 过 程 中 。 这 样 能 保 
证 软件 最 大 可 能 地 满足 有 关 评价 结果 的 所 有 和 需求， 降低 额外 风险 和 未 预料 的 成 本 。 当 请 
求 者 也 是 软件 的 开发 者 时 ， 及 早 与 评价 者 联系 ， 讨 论 将 提交 一 个 产品 用 于 评价 ， 会 有 助 
于 开发 者 预见 评价 者 可 能 提出 的 任何 特殊 要 求 。 

可 能 有 某 些 〈 或 全 部 ) 评价 动作 必须 在 现场 实施 ， 而 不 是 在 评价 者 所 在 地 完成 。 在 
这 种 情况 下 ， 为 保证 结果 是 公正 的 ， 这 些 动作 仍 受 评价 者 的 控制 。 

对 于 大 而 复杂 的 软件 项 目 开 发 者 来 说 ， 在 整个 产品 的 开发 期 间 ， 开 发 者 与 评价 者 不 
断 密切 合作 是 很 有 益 的 ， 这 将 减少 评价 过 程 的 成 本 和 时 间 。 但 这 种 合作 应 不 降低 评价 者 
的 公正 性 。 


4.5 评价 过 程 的 要 求 = 
4.5.1 一 般 要 求 


1. 组 织 和 质量 体系 

为 了 满足 评价 结果 的 可 重复 性 、 可 再 现 性 、 公 正 性 及 客观 性 ， 评 价 者 应 立足 于 一 个 
组 织 。 该 组 织 为 使 其 活动 达到 充分 的 质量 要 求 提供 所 有 必要 保证 。 为 满足 这 一 需求 ， 评 
价 组 织 可 以 按照 ISO/IEC 17025 中 规定 的 要 求 建立 质量 管理 体系 。 

2， 请求 者 的 职责 

评价 请 求 者 的 职责 应 包括 ; 

GD 为 进行 评价 ， 对 软件 产品 确立 必要 的 合法 权利 ; 

为 标识 和 描述 产品 提供 必要 的 信息 ; \ 

@ 阐述 最 初 的 评价 需求 ， 并 与 评价 者 协商 ， 确 定 实际 的 评价 需求 ， 这 些 评价 需求 
宜 遵守 相关 的 法 规 和 标准 ; 

由 阐述 对 评价 提交 的 信息 的 保密 性 需求 ; 

@ 必要 时 在 开发 者 和 评价 者 之 间 起 中 介 作 用 ; : 

必要 时 间 评 价 者 提供 对 用 于 开发 和 操作 使 用 软件 产品 的 计算 机 和 其 他 设备 ; 


www.TopSage.com 


96 软件 评测 师 教程 


@ 必要 时 对 评价 者 提供 必要 的 支持 ， 包 括 培训 和 走访 ; 

@ 必要 时 确保 及 时 提供 软件 、 产 品 说 明 书 和 部 件 ， 包 括 文档 及 其 他 资料 ; 

© ro 

3。 评价 者 的 职责 

评价 者 的 职责 应 是 : 

Q 检查 请 求 者 对 要 评价 执行 的 软件 产品 是 否 有 充分 合法 的 权利 ; 

@ 技 规定 对 请 求 者 提供 信息 保密 承诺 ， 包 括 评价 的 软件 、 评 价 记 录 和 评价 报告 
，@ 提供 有 资格 的 和 经 过 培训 的 人 员 ， 以 便 实施 评价 ; aa 

@ 提供 评价 工具 和 技术 ; 

@@ 按照 评价 需求 实施 测试 ; 

@@ 保留 评价 期 间 影响 评价 结果 的 所 有 工作 记录 

@ 保证 及 时 同 请 求 者 提交 评价 报告 。 


4.5.2 评价 需求 确立 


1. 评价 需求 确立 的 目的 

评价 需求 确立 的 目的 是 描述 评价 目标 。 这 些 目标 关系 到 软件 产品 的 预期 用 途 和 相关 
风险 。 可 能 要 从 几 种 不 同 软件 用 户 的 角度 出 发 ， 如 软件 的 需 方 、 供 方 、 开 发 者 、 操 作者 
或 维护 者 。 

2. 评价 需求 分 析 

分 析 评 价 需 求 的 活动 由 下 列 5 个 子 活动 组 成 : 

Q@ 请 求 者 提出 评价 需求 建议 ; 

四 请 求 者 说 明 评价 履 盖 范围 ， 

@ 评价 者 分 析 评 价 原因 和 描述 评价 需求 来 响应 请 求 者 ; 

由 评价 者 解释 评价 的 保密 范围 和 严格 程度 ; 

@@ 评价 者 同意 评价 需求 。 : : 

进行 评价 需求 分 析 时 ， 要 考虑 供 评价 的 产品 的 应 用 领域 和 用 途 ， 还 要 考虑 一 些 关 键 
问题 ， 如 安全 、 保 密 安 人 全、 经济 或 环境 方面 的 问题 ， 以 及 适用 的 法 律 和 规章 制度 。 

在 请 求 者 的 需求 中 ， 请 求 者 应 表明 评价 履 益 范围 。 同 时 评价 者 应 保证 评价 是 非常 严 
格 的 ， 足 以 提供 软件 产品 质量 方面 的 真实 证 据 。 因 此 ， 请 求 者 与 评价 者 应 对 评价 需求 达 
成 一 致 ， 作 为 继续 评价 过 程 的 前 提 条 件 。 | 

3. 评价 需求 内 容 

Q 评价 需求 应 包含 对 评价 产品 应 用 领域 的 描述 ， 以 及 产品 用 途 的 描述 。 

@ 评价 需求 应 由 GB/T 16260 中 定义 为 “质量 特性 ”的 一 系列 质量 需求 组 成 ， 还 可 
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能 用 到 一 些 子 特性 。 
@ 评价 需求 中 的 每 项 需求 ， 都 应 提供 要 评价 软件 及 部 件 的 规格 说 明 信 息 。 
4。 认 可 与 报告 
Q 评价 需求 应 作为 请 求 者 与 评价 者 联合 评审 的 结果 而 予以 承认 ; 
@) 评价 需求 应 包括 在 评价 报告 和 评价 记录 中 。 


4.5.3 评价 规格 说 明 


1. 评价 规格 说 明 的 目的 

规定 评价 规格 说 明 的 目 的 是 定义 评价 范围 定义 供 评价 产 品 及 各 种 部 件 执行 的 钢 
量 。 评 价 规格 说 明 应 详细 到 以 此 能 确保 评价 的 可 重复 性 和 可 再 现 性 。 

2. 评价 规格 说 明 编 制 

编制 评价 规格 说 明 的 活动 由 下 列 3 个 了 活动 组 成 ， 

QD 分 析 产 品 的 描述 ; 

@@ 规定 对 产品 及 部 件 执行 的 测量 ; 

@ 按照 评价 需求 验证 编制 的 规格 说 明 。 

(1)》 产品 说 明 分 析 

请 求 者 应 提供 提交 要 测 软件 的 产品 说 明 , .目的 是 : 

QD) 以 此 定义 评价 的 范围 ， 即 标识 出 哪些 作为 软件 一 部 分 的 部 件 ， 以 及 便于 了 解 而 
接触 软件 的 情况 ; 

所 将 供 评价 的 产品 部 件 的 标识 交 给 评价 者 ， 以 便 次 价 者 了 解 其 结构 ， Ce 
的 信息 及 如 何 访问 产品 部 件 。 

产品 说 明 资 料 应 包含 为 评价 而 实际 提交 的 产品 部 件 清单 、 有 关 产品 结构 的 基本 原理 
和 与 产品 有 关 的 文档 清单 。 人 与 产品 有 关 的 文档 , 应 提供 下 列 
信息 : | 

QD 部件 性 质 的 描述 ; 

他 部 件 中 用 到 的 形式 化 信息 ; 

地 有 关 部 件 规模 的 信息 ， 

@ 与 其 他 部 件 的 关系 ; 

@ 对 评价 者 有 用 的 产品 部 件 信息 。 

-评价 者 应 检查 产品 描述 是 否 与 上 述 提 及 的 需求 一 致 。 评价 者 还 应 分 析 提供 的 原理 及 

部 件 的 说 明 ， 以 便 标识 在 评价 需求 中 确定 的 各 部 件 间 的 关系 。 z 

(2) 测量 规定 

评价 者 应 把 评价 需求 分 配给 产品 本 身 和 产品 描述 中 标识 的 各 种 部 件 ， 使 评价 需求 被 
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分 解 为 数 个 子 特性 。 对 供 测 试 的 不 同 部 件 ， 分 解 的 结果 也 是 不 同 的 。 然 后 ， 测 试 者 应 规 
定 旨 在 对 产品 和 所 选 部 件 的 特性 、 子 特性 及 属性 进行 评估 的 测量 。 测试 规格 说 明 书 应 明 
确 对 下 列 几 项 进行 说 明 : 
(D 用 于 度量 软件 或 一 组 标识 的 部 件 的 形式 化 的 规格 说 明 ， 以 及 评价 报告 中 测量 结 
果 的 表现 形式 的 说 明 ; 
包 引用 的 产品 部 件 中 规定 将 要 验证 的 软件 需求 ， 以 及 引用 验证 这 些 逢 求 的 规程 的 
说 明 ; 
@ 在 软件 需求 文档 中 被 虽 漏 的 ， 或 需要 更 详细 解释 的 软件 产品 的 短 求 规格 说 明 ， 
以 及 用 来 验证 这 一 需求 的 规程 的 说 明 。 
对 上 述 这 些 声明 ， 应 引用 要 测量 或 验证 的 部 件 的 性 质 和 所 用 的 形式 。 
(3) 评价 规格 说 明 验 证 
评价 者 应 按照 评价 征求 来 验证 评价 规 祝 说 明 。 
评价 者 应 按照 评价 需求 检查 列 在 产品 描述 中 的 部 件 是 否 提供 了 评价 执行 的 所 有 必 
要 信息 ,评价 者 还 应 验证 规定 的 测量 和 验证 是 否 充分 满足 了 评价 需求 所 表示 的 评价 目标 。 
3。. 评价 规格 说 阴 的 内 容 
评价 规格 说 明 应 包括 : 
”@ 评价 范围 ， 涉 及 在 产品 说 明 中 标识 的 产品 部 件 ; 
@ 评价 执行 所 需 的 信息 ， 在 产品 说 明 中 列 出 的 软件 部 件 及 其 他 相关 文档 之 间 的 相 
互 引用 ; 
要 执行 的 测量 和 验证 的 规格 说 明 ， 以 及 对 要 评价 的 产品 部 件 的 引用 ; 
@ 测量 和 验证 的 规格 说 明 与 评价 需求 之 间 ， 与 引用 标准 或 对 所 列 的 每 个 测量 或 验 
证 的 理由 之 间 的 映射 。 
4。 认 可 和 报告 
评价 规格 说 明 应 作为 请 求 者 和 测试 者 之 间 联 合 评审 的 结果 予以 认可 。 
评价 规格 说 明 应 包含 在 评价 报告 和 评价 记录 中 。 此 外 ， 对 评价 需求 的 任何 修改 均 应 
在 评价 记录 中 予以 报告 。 
4.5.4 评价 设计 
1。 评价 设计 目的 
评价 设计 应 把 评价 者 使 用 的 测量 规程 编 成 文档 ， 以 便 评价 执行 规格 说 明 中 规定 的 测 
量 。 评 价 者 应 制定 评价 计划 来 描述 执行 指定 的 评价 时 所 和 需 的 资源 和 执行 各 种 动作 时 对 这 
些 资源 的 分 配 。 
评价 计划 应 详细 到 能 确保 用 一 种 令 人 满意 的 方式 执行 这 些 动作 。 
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2. 制定 评价 计划 
制定 评价 计划 的 活动 由 3 个 子 活动 组 成 ; 
GD 把 评价 方法 编 成 文档 ， 起 草 计划 ; 
凶 优化 评价 计划 ; 
© 根据 可 用 资源 安排 评价 动作 的 进度 。 
(1) 编制 评价 方法 文档 和 起 草 计划 : 
把 规定 的 测量 或 验证 与 要 评价 的 各 种 产品 部 件 的 形式 组 合 起 来 ， 以 便 把 对 部 件 实施 
的 测量 或 验证 的 详细 方法 编 成 文档 。 
评价 者 应 分 析 评价 规格 说 明 中 规定 的 有 关 测量 或 验证 的 技术 约束 条 件 。 这 些 约 束 条 
件 可 能 包括 : 
(D 软件 部 件 所 用 的 形式 ，; 
软件 部 件 说 明 的 电子 或 书面 形式 ，; 
@ 预定 义 评价 方法 ; 
由 支持 评价 技术 的 工具 的 可 用 性 ， 
@ 软件 部 件 的 规模 。 
对 评价 规格 说 明 中 规定 的 第 测量 或 验证 ， 评 从 者 者 应 把 有 关 的 评价 方法 入 
文档 。 
当 描述 的 评价 方法 是 基于 使 用 软件 工具 的 时 候 ， 应 在 评价 计划 中 标识 该 工 具 ， 这 种 
标识 应 至 少 包括 工具 的 名 称 、 版 本 标识 和 它 的 来 源 〈 如 :， 供 方 )。 
”对 评价 的 产品 执行 程序 时 ， 也 应 说 明 运行 环境 以 及 实际 工作 中 可 用 的 条 款 。 
(2) 测量 的 优化 
每 人 基本 评价 方法 才 计划 应 用 在 供 评 人 的 各 个 件 孝 件 上 ， 也 会 出现 将 不 同 的 和 本 
评价 方法 用 于 同一 个 软件 部 件 的 情况 。 
应 对 评价 计 划 人 案 进行 评审 ， 以 如 评价 省 的 重复 劳动， 大 错误 风险 和 降 人 计划 
的 评价 者 的 工作 量 。 ” 
《3) 安排 评价 动作 的 进度 
WA 0 i 
用 性 。 
评价 者 应 就 软件 及 部 件 的 交付 进度 与 请 求 者 达成 一 致 。 应 规定 软件 部 件 的 交付 从 
质 、 形 式 以 及 拷贝 数量 。 
应 标识 评价 过 程 中 满足 的 需求 。 当 请 求 者 不 是 软件 产品 的 开发 者 时 ， 应 标识 评价 者 
和 开发 者 之 间 的 关系 。 特 别 是 应 规定 开发 者 需要 的 支持 。 这 种 支持 包括 培训 、 非 正式 的 
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讨论 或 办 公 场 所 。 

必要 时 ， 对 开发 和 运行 场所 的 访问 也 应 与 所 需 资源 一 起 规定 。 

(4) 评价 计划 的 内 容 

评价 计划 应 由 两 部 分 组 成 ， 评价 方法 文档 和 评价 者 采取 评价 动作 的 时 间 表 。 

评价 计划 中 某 些 评价 方法 的 文档 可 能 包括 对 评价 者 个 人 材料 的 引用 。 在 这 种 情况 
下 ， 评 价 者 应 能 判断 该 方法 与 相应 评价 规格 说 明 元 素 的 针对 性 ， 以 及 在 应 用 该 方法 时 ， 
其 自身 的 能 力 。 

3. 认可 和 报告 

评价 计划 应 作为 请 求 者 和 评价 者 之 间 联 合 评审 的 结果 而 予以 认可 。 

评价 计划 应 包含 在 评价 记录 中 。 评 价 方法 的 文档 ， 对 方法 的 引用 ， 以 及 对 要 应 用 该 
评价 方法 的 产品 部 件 的 标识 都 应 在 评价 报告 中 体现 。 


4.5.5 评价 执行 


1. 评价 执行 目的 

评价 执行 目的 是 根据 评价 需求 ， 按照 评价 规格 说 明 中 的 规定 和 评价 计划 ， 从 对 软件 
产品 的 测量 和 验证 中 获得 结果 ， 执 行 这 些 动作 将 完成 评价 报告 和 评价 记录 的 草稿 。 

2. 评价 执行 者 的 动作 
-为 了 执行 计划 的 评价 ， 评 价 者 应 做 到 以 下 几 点 。 

中 管理 请 求 者 提供 的 产品 部 件 ， 

包 管理 评价 动作 所 产生 的 数据 (包括 报告 和 记录 ); 

@ 管理 评价 执行 动作 的 工具 。 

此 外 ， 评 价 者 还 可 以 管理 在 评价 者 的 承 话 之 外 执行 的 评价 动作 ; 

各 理 使 用 特定 评价 技术 所 隐 含 的 要 求 。 

(1) 软件 部 件 的 管理 

评价 谢 求 者 应 根据 评价 计划 中 定义 的 进度 网 评价 者 交付 软件 部 件 和 与 软件 相关 的 
文档 。 
:评价 者 应 登记 全 部 软件 部 件 和 软件 的 相关 文档 。 在 证 实 了 软件 的 规模 和 复杂 程度 之 
后 ， 应 使 用 正式 的 配置 管理 。 

软件 样品 登记 的 信息 应 至 少 包括 ; 

(D 部 件 或 文档 的 惟一 标识 符 ; 

包 部 件 的 名 称 或 文档 标题 ; 

@ 文档 的 状态 (包括 物理 状态 或 变异 状态 ); 
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”@ 请 求 者 提供 样品 的 版 本 、 配 置 和 日 期 信息 : 

@@ 接收 的 日 期 。 

除 丰 请 求 者 有 另外 的 许可 ， 否 则 ， 评 价 者 将 保守 全 部 产品 部 件 和 相关 文档 的 秘密 

(2) 评价 数据 管理 

评价 执行 动作 道 常 是 测量 产品 和 它 的 部 件 ， 以 获得 并 解释 中 间 数 据 ,以 便 将 产生 的 
结果 记 入 测试 报告 。 中 间 数 据 的 种 类 多 种 多 样 ， 例 如 ， 为 测试 产生 的 数字 、 图 形 、 图 表 、 
部 件 的 摘录 或 形式 化 模型 。 

对 中 间 数 据 的 保密 应 与 原 玉 对 部 件 和 文档 的 保密 方法 二 样 。 此 外 ， 评 价 者 应 尽力 防 
止 这 些 数据 被 意外 或 恶意 地 修改 。 特 别 是 当中 间 数 据 量 非常 大 并 且 非 常 复杂 时 ， 应 使 用 
正式 的 配置 管理 来 保持 中 间 评 价 结果 与 评价 产品 之 间 的 一 致 性 。 

评价 者 应 把 所 有 中 间 数 据 记 入 评价 记录 ， 以 便 依据 它们 进行 解释 。 如 同 在 评价 计划 
中 规定 的 那样 在 解释 过 程 中 所 作 的 次 定 也 应 被 记 入 评价 记录 。 

(3) 工具 使 用 的 管理 . 

评价 执行 动作 需要 使 用 软件 工具 米 收集 原始 数据 ， 或 解释 中 间 数 据 。 

_ 当 使 用 工具 来 评价 执行 动作 时 ， 应 在 评价 报告 中 记录 对 工具 的 引用 。 该 引用 应 由 工 
具 的 标识 、 工 具 的 供 方 和 工具 的 版 本 信息 组 成 。 

对 所 用 工具 的 更 详细 的 引用 信息 应 记录 在 评价 记录 中 ， 包 括 工具 配置 的 详 细 信息 和 
为 得 到 相同 的 中 间 结 果 而 重复 评价 动作 所 需 的 任何 相关 信息 。。. 

评价 者 应 尽 最 大 努力 保证 工具 按照 所 期 望 的 方式 进行 工作 。 评 价 者 应 保留 在 评价 过 
程 中 承诺 合法 使 用 工具 的 记录 。 

(4) 现场 评价 

有 时 ， 不 能 在 评价 者 候 定 的 场所 评价 执行 动作 。 如 ， 开 发 者 的 工作 地 点 或 软件 产品 
的 运行 现场 。 | 

这 时 ， 评 价 者 应 控制 所 有 执行 的 评价 动作 。 特 别 是 ， 应 避免 任何 使 评价 结果 无 效 的 
情况 发 生 。 | 

评价 者 应 尽 最 大 努力 保证 评价 结果 和 中 间 结果 的 保密 性 。 

(5) 特定 评价 技术 的 需求 

当 评价 计划 要 求 评价 产品 的 可 执行 程序 时 ， 应 精确 记录 评价 的 配置 和 评价 的 环境 。 

当 评 价 动作 要 求 检查 文档 时 ， 建 议 使 用 检查 下 。 

(6) 评审 和 报告 

在 评价 执行 过 程 中 会 产生 中 间 评 价 结果 和 最 终 评价 结果 。 为 站 到 最 大 的 客观 性 每 
个 评价 动作 应 由 不 同 的 评价 执行 动作 的 评价 者 米 检查 。 
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应 评审 全 部 评价 结果 ， 其 目的 取决 于 所 考虑 的 评价 动作 的 实质 。 应 至 少 有 一 个 不 直 
接 涉及 评价 动作 的 人 员 参 加 评审 。 评 审 报告 应 包括 在 评价 记录 中 。 

一 旦 评审 通过 ， 应 像 评 价 规格 说 明 中 规定 的 那样 ， 把 评价 结果 记 入 评价 报告 中 。 此 
外 ， 轨 评价 计划 也 是 这 样 规定 时 ， 某 些 中 间 结 果 或 解释 决定 也 应 记 入 评价 报告 。 

4.5.6 ”评价 结论 

1. 评价 结论 的 目的 

评价 结论 的 目的 包括 评价 报告 的 评审 和 评价 数据 的 处 理 。 

2. 评价 报告 的 联合 评审 

评价 报告 的 草稿 应 交付 评价 的 请 求 者 。 应 组 织 评 价 者 和 请 求 者 之 间 的 联合 评审 。 语 
求 者 应 有 机 会 对 评价 报告 提出 意见 。 之 后 ， 应 把 该 评价 报告 交 给 请 求 者 。 

3。 评价 数据 和 文档 的 处 置 

将 评价 报告 正式 交付 给 请 求 者 之 后 ， 评 价 者 应 处 理 与 评价 有 关 的 数据 。 

可 以 根据 数据 的 类 型 使 用 下 列 方 法 进行 ， 

中 供 评价 的 文档 应 归还 给 请 求 者 ， 或 者 存档 一 个 规定 的 期 限 ， 或 者 以 安全 的 方式 
销毁 ， 
包 评价 报告 和 评价 记录 应 存档 一 个 规定 的 期 限 ; 

@ 所 有 其 他 数据 应 存档 一 个 规定 的 期 限 或 以 安全 的 方式 销毁 。 
当 某 些 数据 的 规定 存档 期 限 到 期 时 ， 应 将 其 再 次 保存 一 个 规定 的 期 限 或 以 安全 的 方 
式 销毁 。 

只 要 请 求 者 明确 表示 同意 ， 评 价 者 就 可 以 使 用 中 间 评 价 结果 ， 以 便 研 究 评价 技术 和 

坎 件 的 度 基 。 


4.6 配置 管理 


软件 测试 过 程 的 配置 管理 和 软件 开发 过 程 的 配置 管理 是 一 样 的 。 开 发 过 程 中 ， 剖 试 
活动 的 配置 管理 属于 整个 软件 项 目 配置 管理 的 一 部 分 。 独 立 的 测试 组 织 应 建立 专门 的 配 
置 管理 系统 。 一 般 来 说 ， 软 件 测 试 配置 管理 包括 4 个 最 基本 的 活动 : 

Q 配置 项 标识 ; 

外 配置 项 控制 (变更 控制 ); 

@ 配置 状态 报告 ; 

@) 配置 审计 。 
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4.6.1 ”配置 项 标识 


。 标识 测试 样品 、 标 准 、 工 具 、 文 档 (包括 测试 用 例 )、 报告 等 配置 项 的 名 称 和 类 型 。 
。 指出 何 时 基准 化 配置 项 ( 置 于 基线 控制 之 下 )。 
。 标识 各 配置 项 的 所 有 者 及 储存 位 置 。 


4.6.2 ”配置 项 控制 


。 ”规定 测试 基线 ， 对 每 个 基线 必须 描述 下 列 内 容 : 

Q@ 每 个 基线 的 项 (包括 文档 、 样 品 和 工具 ); 

GO 与 每 个 基线 有 关 的 评审 、 批 准 事项 以 及 验收 标准 。 

。 ”规定 何 时 何人 创立 新 的 基线 ， 如 何 创 立 。 

确定 变更 控制 委员 会 的 人 员 组 成 、 职 能 (包括 变更 授权 、 确 认 与 批准 )、 工 作 
程序 。 

确定 变更 请 求 的 处 理 程序 和 终止 条 件 。 

确定 变更 请 求 的 处 理 过 程 中 各 测试 人 员 执 行 变更 的 职能 。 

确定 变更 请 求 和 所 产生 结果 的 对 应 机 制 。 

确定 配置 项 提取 和 存 入 的 控制 机 制 与 方式 。 


4.6.3 ”配置 状态 报告 


。 定义 配置 状态 报告 形式 、 内 容 和 提交 方式 。 
。 ”确认 过 程 记 录 和 跟踪 问题 报告 ， 更 改 请 求 ， 更 改 次 序 等 。 
。 确定 测试 报告 提交 的 时 间 与 方式 。 


4.6.4 配置 审计 


e。 确定 审计 执行 人 员 和 执行 时 机 。 

。 确定 审计 的 内 容 与 方式 。 

e。 确定 发 现 问题 的 处 理 方法 。 

配置 管理 是 管理 和 调整 变更 (change〉 的 关键 (如 图 4-2 所 示 )， 对 于 一 个 参 与 人 员 
较 多 、 变 更 较 大 的 项 目 ， 它 是 至 关 重 要 的 。 软 件 测试 配置 管理 概念 相对 比较 简单 ， 但 实 
际 操作 却 常 常 十 分 复杂 。 它 应 用 于 测试 工具 、 用 例 ， 而 且 对 于 测试 过 程 中 的 所 有 文档 也 
是 非常 重要 的 ， Be 于 测试 样本 和 数据 。 
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图 4.2 配置 管理 原理 图 


4.7 ”测试 的 组 织 与 人 员 


组 织 是 指 一 个 系统 将 材料 、 知 识 和 方法 组 合 起 来 ， 把 各 种 不 同 的 输入 转换 成 有 价值 
的 输出 。 组 织 结构 是 指 用 一 定 的 模式 对 责任 、 权 威 和 关系 进行 安排 ， 直 至 通过 这 种 结构 
发 挥 功能 。 
4.7.1 组 织 结构 设计 因素 

测试 组 织 结构 设计 因 际 包括 : 


垂直 还 是 平缓 ， 垂直 的 组 织 结构 是 在 首席 管理 者 与 低级 测试 人 员 之 间 设 立 许多 
层次 ， 平 缓 的 垂直 组 织 结构 设立 很 少 的 几 个 层次 。 平 缓 的 组 织 结构 的 测试 工作 
效率 较 商 。 

市 场 还 是 产品 : 组 织 结构 的 设置 可 以 是 面向 不 同 的 市 场 或 不 同 的 产品 。 

集中 还 是 分 散 : 组 织 可 以 是 集中 的 ， 也 可 以 是 分 散 的 。 这 对 于 测试 组 织 是 比较 
关键 的 ， 为 保证 测试 的 独立 性 ， 一 般 测 试 组 织 要 相对 集中 。 

分 级 还 是 分 散 : 可 以 将 组 织 按 权力 和 级 别 一 层 一 层 地 分 级 。 也 可 以 分 散 排列 开 。 


在 软件 开发 小 组 内 的 测试 党 使 用 这 种 分 散 的 方式 ， 调 旋 小 组 在 开发 小 组 内 ， 可 


以 是 专职 测试 人 员 ， 或 者 以 测试 角色 的 形式 组 成 。 | 
专业 人 员 还 是 工作 人 员 : 测试 组 织 应 拥有 一 定 比例 的 专业 测试 人 员 和 工作 人 员 。 
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功能 还 是 项 目 : 测试 组 织 可 以 面 同 功能 或 项 目 。 
4.7.2 独立 测试 组 织 


和 
疡 增 大 ， 必 须 建立 儿 立 专门 的 测 斌 队伍。 只 有 不 持 信和 的 人才 能 提供 不 持 信 风 的 度量 
测试 度量 软件 质量 才 真正 有 效 ， 测 试 必须 独立 进行 。 

Bill Hetzel 在 《软件 测试 指南 大 全 》(1988) 一 书写 道 : “独立 的 测试 组 织 十 分 重 
要 ， 因 为 ，@ 没 有 这 样 的 一 个 组 织 ， 建 立 系统 就 不 会 理想 ，@ 有 效 的 度量 对 于 产品 质量 
控制 是 十 分 重要 的 ，@ 测 试 协调 需要 全 职 、 专 门 的 人 员 投入 ”。 

4.7.3 ”测试 组 织 管理 者 

测试 管理 是 很 困难 的 ， 测 试 组 织 的 管理 者 必须 具备 : i 

。 理解 与 评价 软件 测试 政策 、 标 准 、 过 程 、 工 具 、 培 训 和 度量 的 能 力 ， 

。 领导 一 个 测试 组 织 的 能 力 ， 该 组 织 必须 坚强 有 力 、 独 立 自主 、 办 事 规范 没有 

偏见 ; 

。 吸引 并 留 住 杰 出 测试 专业 人 才 的 能 力 ， 

。 领导 、 沟 通 、 支 持 和 控制 的 能 力 ， 

。 测试 时 间 、 质 量 和 成 本 控制 的 能 力 。 


4.7.4 集中 管理 的 测试 组 织 


将 4.1 节 中 组 织 的 基本 设计 因素 组 合 起 来 ， 可 以 构成 许多 不 同 的 测试 组 织 结构 本 
节 重 点 介绍 在 软件 企业 中 , 与 独立 测试 有 TD Oh SA (如 图 4-3 
所 示 )。 2 


管理 层 


技术 委员 会 . | 质量 保证 部 门 | 


= ! 


PDG: 产品 开发 小 组 : ”TDG: 测试 开发 不 组 
图 4-3 集中 管理 的 测试 组 织 
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这 种 方式 的 优点 是 ， 软 件 立 项 后 ， 由 独立 的 测试 组 织 提 供 资 源 与 软件 开发 人 员 并 肩 
作战 ， 与 合作 伙伴 一 块 行动 ， 可 以 减少 软件 开发 人 员 与 测试 人 员 合 作 时 的 不 利 因素 。 


4.7.5 ”选择 合理 的 组 织 方案 


组 织 设 计 因 隶 可 以 组 成 不 同 的 组 织 方案 ， 在 实际 中 软件 开发 机 构 和 测试 机 构 也 都 建 
立 了 不 同 结构 的 测试 组 织 形式 。 霹 择 合理 有 式 的 名 记 组 织 抱 生 方案 鸭 请 则 是 : 

(也 .提供 软件 测试 的 快速 决策 能 力 ; 

四 利于 合作 ， 尤其 是 产品 开发 与 测试 开发 之 间 的 合作 | 

@ 能 够 独立 、 规 范 、 不 带 偶 见 地 运作 并 具有 精干 的 人 员 配 置 ;， 

有 利于 协调 测试 与 质量 管理 的 关系 ; 

@ 有 利于 满足 软件 测试 过 程 管理 要 求 ; 

有 利于 为 测试 技术 提供 专 有 技术 ; 

(QD 充分 利用 现 有 测试 资源 ， 特 别 是 人 ; z 

对 测试 者 的 职业 道德 和 事业 产生 积极 的 影 啊 。 


4.7.6 ”测试 人 员 


1. 测试 人 员 的 选择 

测试 人 员 的 能 力 包括 以 下 几 项 。 

一 般 能 力 : 包括 表达 、 交 流 、 协 调 、 管 理 、 质 量 意识 、 过 程 方法 、 软 件 工程 等 ; 

@ 测试 技能 及 方法 : 包括 测试 基本 概念 及 方法 、 测 试 工具 及 环境 、 专 业 测 试 标 准 、 
工作 成 绩 评 估 等 ; 

@ 测试 规划 能 力 : 包括 风险 分 析 及 防范 、 软件 放行 /接收 准则 制定 、 测试 目标 及 计 
划 、 测 试 计划 和 设计 的 评审 方法 等 ; 

@ 测试 执行 能 力 ; 包括 测试 数据 /脚本 /用 例 、 测 试 比较 及 分 析 、 缺 陷 记 录 及 处 理 、 
自动 化 工具 ; 

测试 分 析 、 报 告 和 改进 能 力 ， 包括 测试 度量 、 统 计 技 术 、 测 试 报 告 、 过 程 监测 
及 持续 改进 。 

2. 测试 人 员 的 激励 

(1) X 理论 +Y 理论 

e 义理 论 : 胡萝卜 + 大 棱 一 一 迫使 人 们 工作 : 

。 Y 理论 : 经 理 的 职能 不 是 督促 人 们 工作 ， 而 是 使 人 们 有 可 能 工作 。 

(2) 需要 的 层次 (Maslow 模型 ) 

e。 生存 需要 一 一 工作 职位 、 工 资 奖金 、 体 妨 时 间 ; 
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: 安全 需要 一 一 公正 待遇 、 应 付 工作 的 能 力 和 信心 ; 


互相 认同 、 理 解 和 支持 ; 
自尊 需要 一 一 具有 受 人 尊重 /赏识 的 能 力 或 /和 业绩 ， 
自我 实现 需要 一 一 成 为 自己 期 望 的 人 物 。 i 


(3) 人 员 激 励 的 关键 后 


管理 者 习惯 用 对 自己 有 效 的 因素 激励 测试 人 员 ， 很 可 能 发 现 无 效 ; 

过 多 使 用 权力 、 资 金 或 处 加 手段 很 可 能 导致 项 目 失败 ; 

行业 领先 企业 采取 卓有成效 的 非 货币 形式 的 激励 措施 ; 

在 项 目 进 行 过 程 中 ， 而 不 仅 是 在 项 目 结束 时 实施 激励 措施 

奖励 应 该 在 工作 获得 认同 后 尽快 兑现 ，; 

对 人 员 的 工作 表现 出 真诚 的 兴趣 是 对 他 们 最 好 的 奖励 
激励 因素 是 因 人 而 异 、 因 时 而 异 的 。 已 经 满足 的 需要 很 可 能 不 再 成 为 激励 因素 。 


(4) 人 员 自 我 激励 
测试 工作 的 快乐 哲学 : 人 把 工作 当 作 游 戏 ， 让 别人 快乐 ， 全 身心 投 


入 工作 。 


注意 测试 工作 的 7 条 效率 原则 主动 思考 ， 只 极 行动 ; 一 开始 就 牢记 目标 ， 不 迷失 
方 同 ; 重要 的 事情 放 在 首位 《但 常常 把 紧急 的 事情 放 在 首位 )， 先 理解 人 ， 后 被 人 理解 ; 
寻求 双 菩 ;互相 合作 ， 追 求 1+1>2; 0 

3. 测试 职业 发 展 1 

国际 推荐 的 软件 测试 职业 发 展 计划 如 下 。 


1 一 2 年 ， 测 试 技能 ， 熟 悉 整 个 测试 过 程 及 产品 业务 领域 ; 学 习 和 人 掌握 自动 测试 
I 开发 和 执行 测试 脚本 ， 承担 系统 测试 实施 任 


务 ， 掌握 编程 语言 、 操 作 系统 、 网 络 与 数据 库 方面 的 技能 。 


3~4 年 ， 测 斌 过程! 深入 了 解 测试 过 程 ， 掌 握 测试 过 程 设计 及 改进 ， 参 与 软件 
工作 产品 的 同行 评审 ， 进 一 步 了 解 产品 业务 领域 ， 改 进 测试 自动 化 编程 技术 ; 

能 指导 初级 测试 工程 师 ， 加 强 编程 语言 、 操 作 系统 、 网 络 与 数据 库 方面 的 技能 。 
4 一 5 年 ， 测 试 组 织 工作 , 管理 1~3 名 测试 工程 师 ， 担 任 任务 估算 、 管 理 及 进 
度 控制 ， 进 一 步 培养 在 软件 项 目 管理 及 支持 工具 方面 的 技能 。 

5~6 年 ， 技 术 管 理 ， 管理 4~8 名 测试 工程 师 ， 提 高 任务 估算 、 管 理 及 进度 控 
制 能 力 ， 完 成 测试 规划 并 制定 测试 计划 ， 研 究 测试 的 技术 手段 ， 保 持 使 用 项 目 
管理 及 支持 工具 的 技能 ， 用 大 量 时 间 为 其 他 测试 工程 师 提供 技术 及 过 各 方面 的 
指导 开始 与 客户 打交道 并 做 演示 推介。 

6~12 年 ， 测 试管 理 ， 管 理 8 名 以 上 测试 工程 师 ， 负 责 一 个 或 多 个 项 目的 测试 
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工作 ; PO 保持 使 用 项 目 管理 及 支持 工具 的 技能 。 
4。 人 员 的 培训 z 
(1) 软件 测试 培训 内 容 分 类 
ea 测试 基础 知识 和 技能 培训 。 
测试 设计 培训 、 测 试 工 具 培 训 。 
测试 对 象 一 一 软件 产品 培训 。 
测试 过 程 培 训 。 
测试 管理 培训 。 
(2) 制定 测试 人 员 培 训 计划 

是 测试 计划 的 一 个 重要 组 成 部 分 。 
项 要 管理 层 的 重视 ， 在 时 间 和 资源 上 予以 保证 。 
认真 调查 和 分 析 测 试 人 员 的 培训 需求 。 

将 培训 活动 安排 在 测试 任务 开始 前 。 

“ 边 干 边 学 ”模式 很 可 能 牺牲 质量 和 效率 。. 
软件 测试 实习 活动 在 整个 培训 中 占 较 大 比例 。 
项 励 合作 学 习 ， 团 队 演 练 。 
网 有 轴 交 时 要 及 时 条 价 发 现 不 足 进行 改进 。 


4.8 软件 测试 风险 分 析 


4.8.1 软件 测试 与 商业 风险 


软件 公 \ 司 的 管理 者 制定 整体 软件 开发 战略 时 使 用 “计划 一 执行 一 检查 一 改进 
(PDCA) ”循环 理念 ， 战略 性 的 策略 可 以 转 为 商业 上 的 主动 。 在 PDCA 循环 中 ， 计划 (plan) 
和 执行 《do) 往往 更 被 人 们 所 重视 ， 然 而 ， 检 测 〈check) 部 分 才 是 用 来 处 理 商业 风险 的 
关键 过 程 。 

软件 测试 是 一 种 用 来 尽 可 能 降低 软件 风险 的 控制 措施 。 软 件 乔 试 是 检测 软件 开发 是 
否 符合 计划 ， 是 否 达到 预期 的 结果 的 测试 。 如 果 检 测 〈check) 表明 软件 的 实现 没有 按照 
计划 执行 或 与 预期 目标 不 符 ， 就 要 采取 必要 的 改进 行动 (active)。 因 此 ， 公 司 的 管理 者 
应 该 依靠 软件 测试 之 类 的 控制 措施 来 帮助 自己 实现 商业 目标 。 

软件 测试 人 员 必须 明白 他 们 的 任务 之 一 就 是 通过 测试 来 评估 产品 的 商业 风险 ， 并 将 
结果 报告 给 公司 管理 者 。 从 这 个 角度 看 来 ， 测试 人 员 首先 要 理解 什么 是 商业 风险 并 且 
要 以 这 些 风险 为 重点 来 制定 测试 策略 。 
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4.8.2 ”什么 是 软件 风险 


风险 的 定义 为 “伤害 、 损 坏 或 损失 的 可 能 性 ， 一 种 危险 的 可 能 或 一 种 冒险 事件 。” 
风险 涉及 到 一 个 事件 发 生 的 可 能 性 ， 涉 及 到 该 事件 产生 的 不 恨 后 果 或 影响 。 软 件 风险 是 
指 开发 不 成 功 引 起 损失 的 可 能 性 ， 这 种 不 成 功 事件 会 导致 公司 商业 上 的 失败 。 

软件 测试 中 的 风险 分 析 是 根据 预测 软件 将 出 现 的 风险 ， 制 定 软 件 测试 计划 并 排列 优 
先 等 级 。 风 险 分 析 是 对 软件 中 潜在 的 问题 进行 识别 、 估 计 和 评价 的 过 程 。 

软件 风险 分 析 的 目的 是 确定 测试 对 象 、 测 试 优先 级 以 及 测试 的 深度 。 有 时 还 包括 确 
定 可 以 忽略 的 测试 对 象 。 通 过 风险 分 析 ， 测 试 人 员 识 别 软件 中 而 风险 的 部 分 并 进行 严格 
彻底 的 测试 ; 确定 潜在 的 隐患 软件 构件 ， 对 其 进行 重点 测 试 。 在 制定 测试 计划 的 过 程 中 ， 
可 以 将 风险 分 析 的 结果 用 来 确定 软件 测试 的 优先 级 与 测试 深度 。 

OO Ee 项 目 经 理 、 开 发 人 员 、 测 试 
人 员 、 有 用户、 客户 以 及 销售 人 员 。 

对 所 有 的 软件 项 目 进行 风险 分 析 将 是 必 不 可 少 的 。 如 果 软 件 本 身 的 缺陷 与 错误 能 够 
导致 灾难 性 后 果 , 如 造成 严重 的 经 济 损失 或 生命 危害 , 这 样 的 软件 称 为 安全 性 重要 软件 ， 
安全 性 重要 软件 在 开发 过 程 中 的 各 个 阶段 都 应 进行 安全 性 分 析 。 

即使 是 非 重要 软件 ， 在 项 目的 初期 进行 风险 分 析 ， 也 有 助 于 识别 潜在 的 问题 。 这 些 
问题 可 能 会 引发 严重 的 后 果 ， 人 以 便 预 防 
风险 。 

测试 人 员 可 利用 风险 分 析 的 结果 选择 最 关键 的 测试 ， 大 部 分 的 测试 资源 应 该 用 在 控 
制 最 商 级 别 的 商业 风险 上 ， 而 最 低级 别 的 商业 风险 应 该 占用 尽 可 能 少 的 测试 资源 。 只 有 
这 样 ， 软 件 测 试 人 员 才 能 制定 合理 的 策略 ， 控 制 软件 开发 的 风险 。 


”4.8.3 ”软件 风险 分 析 


风险 分 析 是 一 个 对 潜在 问题 识别 和 评估 的 过 程 ， 即 对 测试 的 对 象 进行 优先 级 划分 。 
风险 分 析 包 括 两 个 部 分 : 

@ 发 生 的 可 能 性 一 发 生 问题 的 可 能 性 有 多 大 。 

@ 影响 严重 性 一 如 果 问 题 发 生 了 会 有 什么 后 果 。 

风险 分 析 由 以 下 几 个 步骤 组 成 ， 首 先 列 出 潜在 问题 ， 然 后 对 标识 的 每 个 潜在 问题 发 
生 的 可 能 性 和 影响 严重 性 赋值 ， 进 行 风 险 测定 。 测 试 人 员 根据 测试 分 析 结 果 的 排列 ， 关 
注 潜 在 问题 ， 设 计 与 选择 测试 用 例 。 

通常 风险 分 析 采 用 两 种 方法 ， 表 格 分 析 法 和 和 矩阵 分 析 法 。 通用 的 风险 分 析 表 包括 以 
下 几 项 内 容 。 
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Q 风险 标识 (D ) 一 一 表示 风险 事件 的 惟一 标识 。 
@@ 风险 问题 一 一 问题 发 生 现象 的 简要 描述 。 

外 发 生 的 可 能 性 一 一 可 能 性 值 从 1 ( 低 ) ~~10 (高 )。 
由 影响 的 严重 性 一 一 严重 性 值 从 1〈 低 ) 一 10 (高 )。 
@@ 风险 预测 值 一 一 发 生 可 能 性 和 影响 严重 性 的 乘积 。 
风险 优先 级 一 一 风险 预测 值 从 高 到 低 的 排序 。 
软件 风险 分 析 表 的 例子 如 表 4-1 所 示 。 


表 41 软件 风险 分 析 表 


标识 | 风险 问题 ” ”| 可 能 性 | 严重 性 | 预测 值 | 优先 级 | 测试 用 例 
A | 非法 用 户 访问 | 6 | 8 .| 4 | 2 | Tc 
B | 非法 数据 输入 | 7 | 1 | 7 | 1 |rcl2 
C | 数据 库 更 新 不 同步 | 4 | 10 | 4 | 4 | Tc2.l 
D | 并 发 有 户 少 | 5 | 9 | 45 | 3 | Tc 
E | 用户 文档 不 清晰 | 9 | 1 | 9 | 5 | Tc4 


可 能 性 与 严重 性 的 乘积 产生 的 风险 预测 值 , 决定 了 风险 优先 级 的 排序 。 预测 值 越 高 ， 
优先 级 别 越 高 ， 针 对 该 问题 的 测试 就 越 重要 。 根 据 表 4-1 的 计算 结果 风险 问题 的 排列 为 
B、A、D、C、E。 在 风险 计算 过 程 中 ， 可 能 出 现 具 有 相同 预测 值 的 情况 ， 有 的 测试 机 构 
可 以 通过 将 可 能 性 和 严重 性 分 别 加 权 计 算 来 进行 进一步 的 分 析 。 

本 书 风险 分 析 的 可 能 性 值 和 严重 性 值 的 范围 推荐 使 用 从 1 一 10， 有 些 机 构 可 能 使 用 
值 的 范围 为 1 一 100， 或 0 一 1 之 间 的 小 数 ， 也 有 的 机 构 使 用 高 : 中 、 低 三 个 等 级 来 表示 。 
至 于 使 用 哪 种 等 级 表示 并 不 是 很 重要 ， 只 要 这 些 值 在 分 析 过 程 中 的 使 用 是 一 致 的 ， 分 析 
的 效果 都 是 一 样 的 。 

风险 矩阵 是 风险 分 析 的 另 一 种 有 效 的 方法 ， 测 试 人 员 可 根据 需要 对 风险 潜在 问题 的 
可 能 性 和 严重 性 采用 高 (1)、 中 (2)、 低 (3) 三 个 等 级 来 表示 ， 形 成 一 个 二 维 风险 矩阵， 
而 风险 优先 级 可 用 二 者 值 之 和 表示 。 这 样 ， 可 能 存在 五 个 风险 等 级 ( 即 6、5、4、3、2， 
如 图 4-4 所 示 )。 

总 之 ， 风 险 优先 级 是 由 软件 潜在 问题 影响 的 严重 性 确定 的 ， 是 个 相对 值 ， 而 潜在 问 
题 的 影响 严重 性 是 根据 问题 的 可 能 性 来 评定 的 。 

如 图 4-4 中 的 风险 优先 级 的 确定 是 使 用 可 能 性 和 严重 性 等 级 值 相 加 ， 但 是 如 果 使 用 
两 者 值 相 乘 ， 将 会 扩大 有 风险 的 区 域 。 

综 上 所 述 ， 软 件 风 险 分 析 的 目的 是 : 确定 测试 对 象 、 确 定 优先 级 ， 以 及 测试 深度 。 
在 测试 计划 阶段 ， 可 以 用 风险 分 析 的 结果 来 确定 软件 测试 的 优先 级 。 对 每 个 测试 项 和 测 
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试用 例 赋予 优先 级 代码 ， 将 测试 分 为 高 、 中 和 低 的 优先 级 类 型 ， 这 样 可 以 在 有 限 的 资源 
和 时 间 条 件 下 ， 合 理 安排 测试 的 科 盖 度 与 深度 。 


低 (1) 中 (2) 高 (3) 严重 性 
4-4 软件 风险 分 析 和 矩阵 


4.8.4 ”软件 测试 风险 


软件 测试 的 风险 是 指 软件 测试 过 程 出 现 的 或 潜在 的 问题 ， 造 成 的 原因 主要 是 测试 计 
划 的 不 充分 、 测 试 方法 有 误 或 测试 过 程 的 偏离 ， 造 成 测试 的 补充 以 及 结果 不 准确 。 测 试 
的 不 成 功 导 致 软件 交付 潜藏 着 问题 ， 一 旦 在 运行 时 爆发 ， 会 带 来 很 大 的 商业 风险 。 

美国 IEEE 829-1998《 软 件 测试 文档 编制 》 标 准 中 ， 在 测试 计划 的 模板 中 有 一 项 为 
“风险 与 应 急 措 施 ”。 这 表明 软件 测试 风险 管理 是 很 重要 的 工作 。 主 要 是 对 测试 计划 执行 
的 风险 分 析 与 制定 要 采取 应 急 措施 ， 降 低 软 件 测试 产生 的 风险 造成 的 危害 。 

测试 计划 的 风险 一 般 指 测试 进度 滞后 或 出 现 非 计划 事件 ， 就 是 针对 计划 好 的 测试 工 
作 造 成 消极 影响 的 所 有 因素 ， 对 于 计划 风险 分 析 的 工作 是 制定 计划 风险 发 生 时 应 采取 的 
应 急 措施 。 一 些 常见 的 计划 风险 包括 ， 交 付 日 期 、 测 试 需 求 、 测 试 范围 、 测 试 资源 、 人 
员 的 能 力 、 测 试 预算 、 测 试 环境 、 测 试 支持 、 劣 质 组 件 、 测 试 工具 。 

其 中 ， 交 付 日 期 的 风险 是 主要 风险 之 一 。 测 试 未 按 计 划 完 成 ， 发 布 日 期 推迟 ， 影 响 
对 客户 提交 产品 的 承诺 ， 管 理 的 可 信和 度 和 公司 的 信誉 都 要 受到 考验 ， 同 时 也 受到 竞争 对 
手 的 威胁 。 交 付 日 期 的 滞后 ， 也 可 能 是 已 经 耗 尽 了 所 有 的 资源 。 计 划 风 险 分 析 所 做 的 工 
作 重 点 不 在 于 分 析 风 险 产 生 的 原因 ， 重 点 应 放 在 提前 制定 应 急 措施 来 应 对 风险 发 生 。 当 
测试 计划 风险 发 生 时 ， 可 能 采用 的 应 急 措施 有 : 缩小 范围 、 增 加 资源 、 减 少 过 程 等 措施 。 

比如 ， 用 户 在 软件 开发 接近 尾声 时 ， 提 出 重要 需求 变动 。 

。 ”应急 措施 1， 增 加 资源 。 请 求 用 户 团队 为 测试 工作 提供 更 多 的 用 户 支持 。 

。 ”应急 措 施 2， 缩 小 范围 。 决 定 在 进行 后 续 发 布 中 实现 较 低 优先 级 的 特性 。 

。 应 急 措 施 3; 减少 质量 过 程 。 在 风险 分 析 过 程 中 确定 某 些 风险 级 别 低 的 特征 测 

试 或 少 测 试 。 
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上 述 列举 的 应 急 措 施 要 涉及 到 有 关 方 面 的 妥协 ， 如 果 没 有 测试 计划 风险 分 析 和 应 急 
措施 处 理 风险 ， 开 发 者 和 测试 人 员 采 取 的 指 施 比较 匆忙 ， 将 不 利于 将 风险 的 损失 控制 到 
和 最小。 因此， 软件 风险 分 析 和 测试 计划 风险 分 析 与 应 急 拱 施 是 相辅相成 的 。 综 上 所 述 ， 
计划 风险 、 软 件 风 险 、 重 扣 测 试 、 不 测试 ,其 至 整个 软件 的 测试 与 应 急 措施 都 是 围绕 “用 
风险 来 确定 测试 工作 优先 级 ”这 样 的 原则 来 构造 的 。 


4.9 软件 测试 的 成 本 管理 


有 效 的 测试 方法 可 以 识别 和 评价 软件 的 各 种 风险 ， 能 把 这 些 风险 缩小 到 测试 范围 
内 ， 我 们 可 以 承受 的 风险 ， 并 制定 测试 计划 实现 这 个 目标 。 


4.9.1 测试 费用 有 效 性 


风险 承受 的 确定 ， 从 经 济 学 的 角度 考虑 就 是 确定 需要 完成 多 少 测试 以 及 进行 了 什么 类 
型 的 测试 。 经 济 学 所 做 的 判断 确定 了 软件 存在 的 缺陷 是 否 可 以 接受 ， 如 果 可 以 ， 能 承受 
多 少 。 测试 的 策略 不 再 主要 由 软件 开发 人 员 和 测试 人 员 来 确定 ， 而 是 由 商业 的 经 济 利益 
来 决定 的 。 

“ 太 少 的 测试 是 犯 非 ， 而 太 多 的 测试 是 浪费 。 对 风险 测试 得 过 少 ， 会 造成 软件 的 缺 
陷 和 系统 的 瘫痪 ， 而 对 风险 测试 得 过 多 ， 就 会 使 本 来 没有 缺陷 的 系统 进行 没有 必要 的 测 
试 ， 或 者 是 对 轻微 缺陷 的 系统 所 花费 的 测试 费用 远 远 大 于 它们 给 系统 造成 的 损失 。 

测试 费用 的 有 效 性 ， 可 以 用 测试 费用 一 质量 曲线 (如 图 4-5 所 示 ) 来 表示 。 随 着 测 
试 费用 的 增加 ， 发 现 的 缺陷 也 会 越 多 ， ee 这 时 ， 
诽 除 缺陷 的 测试 费用 超过 了 缺陷 给 系统 造成 的 损失 费用 


缺陷 数量 z 测试 费用 
最 适合 的 测试 。 


测试 的 程度 
图 4-5 测试 费用 质量 曲线 
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4.9.2 ”测试 成 本 控制 


在 实际 的 软件 测试 中 ， 资源 条 件 是 有 限 的 ， 想 要 完成 所 有 测试 是 不 可 能 的 。 要 么 缺 
时 间 ， 要 么 缺 钱 和 人 ,往往 不 知道 实际 测试 成 本 有 多 少 ， 也 不 知 该 怎样 系统 地 降低 成 本 。 

测试 工作 的 主要 目标 是 使 测试 产能 最 大 化 ， 也 就 是 ， 要 使 通过 测试 找 出 错误 的 能 力 
最 大 化 ， 而 检测 次 数 最 小 化 。 测 试 的 成 本 控制 目标 是 使 测试 开发 成 本 、 测 试 实施 成 本 和 
测试 维护 成 本 最 小 化 。 

在 软件 产品 开发 过 程 中 ， 各 个 阶段 实施 的 测试 成 本 并 不 很 重要 ， 有 时 可 以 看 作 是 开 
发 成 本 的 一 部 分 。 但 是 ， 作 为 产品 发 布 每 一 新 版 本 而 进行 的 重复 性 的 测试 所 需 的 成 本 是 
主要 考虑 的 问题 。 测 试 实施 成 本 组 成 部 分 包括 : 测试 准备 成 本 、 测 试 执行 成 本 和 测试 结 
束 成 本 。 

1. 测试 准备 成 本 控制 

测试 准备 成 本 控制 的 目标 是 使 时 间 消 耗 总 量 、 er td 
熟练 劳动 力 总 重 最 小 化 。 准 备 工作 一 般 包 括 : Bai 软件 配置 、 测 试 环境 建立 ， 

及 测试 环境 的 确定 等 。 

2. 测试 执行 成 本 控制 | 

测试 执行 成 本 控制 的 目标 是 使 总 执行 时 间 和 所 需 的 测试 专用 设备 尽 可 能 地 减少 。 执 
行 时 间 要 求 操 作 和 用 户 进行 手工 操作 执行 测试 时 间 应 尽量 减少 ， 同 时 对 劳动 力 和 所 需 的 
技能 也 要 尽量 减少 。 如 果 需 要 重新 测试 ， 不 同 的 选择 会 有 不 同 的 成 本 控制 效果 ， 重 新 测 
试 的 决策 是 在 成 本 与 风险 的 矛盾 中 进行 的 。 

完全 重新 测试 将 测试 全 部 重新 执行 一 遍 ， 将 风险 降 至 最 低 ， 但 加 大 了 测试 执行 的 
成 本 。 部 分 重新 测试 有 选择 地 重新 执行 部 分 测试 ， 能 减少 执行 成 本 ， 但 同时 加 大 了 
风险 。 

对 部 分 重新 测试 进行 合理 的 选择 ， 将 风险 降 至 最 低 ， 而 成 本 同样 会 很 高 ， 必 须 将 其 
与 测试 执行 成 本 进行 比较 ， 权 衡 利兹 。 利 用 测试 自动 化 ， 进 行 重新 测试 ， 其 成 本 效益 是 
较 好 的 。 

部 分 重新 测试 选择 方法 有 两 种 : 

对 由 于 程序 变化 而 受到 影响 的 每 一 部 分 进行 重新 测试 ; 

@ 对 与 变化 有 密切 和 直接 关系 的 部 分 进行 重新 测试 。 

其 中 ， 第 一 种 办 法 风险 要 小 一 些 ， 而 第 二 种 是 一 种 主观 制定 的 办 法 ， 是 建立 在 对 
软件 产品 十 分 了 解 的 基础 上 的 。 一 般 地 ， 选 择 重新 测试 的 策略 建立 在 软件 测试 错误 的 
多 少 〈 即 软件 风险 的 大 小 ) 与 测试 的 时 间 、 人 力 、 资 源 投 入 成 本 的 大 小 之 间 的 折衷 基 
础 上 。 
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3. 测试 结束 成 本 控制 

测试 结束 成 本 的 控制 是 进行 测试 结果 分 析 和 测试 报告 编制 、 测试 环境 的 清除 与 次 复 
原生 之 所 入 的 成 本 ， 侣 所 需 的 时 间 和 热 练 劳动 力 总 重 减少 到 报 低 限度 ， 

4. .降低 测试 实施 成 本 

测试 准备 环境 的 配置 是 十 分 重要 的 ， 要 求 与 软件 的 运行 环境 相 一 致 。 测 试 环境 应 建 
立 在 固定 的 测试 专用 硬 软件 及 网 络 环境 中 ， 尽 可 能 使 用 软件 和 测试 环境 配置 自动 化 。 

测试 实施 尽 可 能 采用 自动 化 的 测试 工具 , 减少 手工 辅助 测试 。 若 测 试 执行 需要 人 工 ， 
最 好 是 请 初级 技术 人 员 ， 而 不 是 测试 工程 师 。 测 试 工 程 师 一 般 是 作为 测试 项 目 经 理 。 

测试 结束 编制 测试 报告 时 ， 测 试 结果 与 预期 结果 的 比较 采用 自动 化 方法 ， 以 降低 分 
析 比 较 成 本 。 

测试 自动 化 的 方法 主要 有 ， 使 用 测试 工具 : 测试 用 例 的 自动 化 执行 ， 测 试 文档 编制 
的 模板 自动 化 生成 。 

5. 降低 测试 维护 成 本 

降低 测试 维护 成 本 ， 与 软件 开发 过 程 一 样 ， 加 强 软件 测试 的 配置 管理 ， 所 有 测试 的 
软件 样品 、 测 试 文档 (测试 计划 、 测 试 说 明 、 测 试用 例 、 测 试 记录 、 测 斌 报告》 都 应 置 
于 配置 管理 系统 控制 之 下 。 降 低 测试 维护 工作 成 本 主要 考虑 ; 

。 对 于 测试 中 出 现 的 偏差 要 增加 测试 

e 采用 渐进 式 测试 以 适应 新 变化 的 测试 ; 

。 定期 检查 维护 所 有 测试 用 例 ， 以 获得 测试 效果 的 连续 性 。 

保持 测试 用 例 效果 的 连续 性 是 重要 的 措施 ， 有 以 下 几 个 方面 : 

e 每 一 个 测试 用 例 都 是 可 执行 的 ， 即 被 测 产品 ， 功 能 上 不 应 有 任何 变化 ; 

e。 基于 需求 和 功能 的 测试 都 应 是 适合 的 ， 者 产品 需求 和 功能 发 生 小 的 变化 ， 不 应 

使 测试 用 例 无 效 ; 
“每 一 个 测试 用 例 不 断 增 加 使 用 价值 ， 即 每 一 个 测试 用 例 不 应 是 完全 宛 余 的 ， 连 
续 使 用 应 是 成 本 效益 高 的 。 


4.9.3 ”质量 成 本 


企业 为 了 获得 利润 ， 笑 花费 大 量 的 资金 进行 测试 。 在 质量 方面 的 投资 会 产生 利润 ， 
例如 ， 提 高 产品 质量 会 提高 公司 的 声 替 ， 使 产品 交付 之 后 的 维护 成 本 减少 ， 避 免 用 户 的 
报 怨 。 测试 是 一 种 带 有 风险 竹 的 管理 少 动 ， 减少 企业 在 未 来 因为 产品 质量 低劣 而 花费 不 
必要 的 成 本 。 

1。 质量 成 本 要 素 

(1) 一 致 性 成 本 (Cost of Conformance ) 
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一 致 性 成 本 是 指 用 于 保证 软件 质量 的 支出 ， 包 括 预防 成 本 《〈prevention cost) 和 测试 
预算 ， a dah 测试 开发 、 测 试 实施 费用 。 测试 顶 算 被 称 为 审查 间 (appraisal cost): 
CCconformance= Cprevention + CAppraisal 
(2) 非 一 致 性 成 本 (Cost of Nonconformance) \ \ 
非 一 致 成 本 是 由 出 现 的 软件 错误 和 测试 过 程 故 障 〈 如 延期 、 劣 质 的 测试 发 布 ) 引起 
的 。 这 些 问 题 会 导致 测试 返工 、 补 测 、 延 迟 。 追 加 测试 时 间 和 资金 就 是 一 种 由 于 内 部 故 
障 引起 的 非 一 致 成 本 。 非 一 致 成 本 还 包括 外 部 故障 (软件 选 留 错 误 影 啊 客 户 ) 引起 部 分 。 
这 些 成 本 还 包括 技术 支持 小 组 预算 ， 错 误 修正 花费 、 产 品 收 回 、 赔 傍 和 锦 售 成 本 。 
CNonconformance = Cinter-failuret CExter. failure 
一 般 情况 下 ， 外 部 故障 非 一 致 成 本 要 大 于 一 致 性 成 本 与 内 部 故障 非 一 致 成 本 之 
和 。 即 : 
.CExter- failure > CpPrevention 十 CAppraisal + Clmer-failure 
2. 质量 成 本 计算 
质量 成 本 = 一 致 性 成 本 + 非 一 致 性 成 本 ， 即 : 


Cauality ES CConformance + CNonconformance 


4.9.4 ”缺陷 探测 率 (DDP Defect Detection Percentage ) 


缺陷 探测 率 DDP 是 另 一 个 衡量 测试 工作 效率 的 软件 质量 成 本 的 指标 。 
Bugs ue 
DDP = 
Bugs 二 Bugs。 une 


其 中 ，Bugsese 为 测试 者 发 现 的 错误 数 ，Bugsosone 为 客户 发 现 并 反馈 技术 支持 人 
员 进 行 修 复 的 错误 数 。 

缺陷 探测 率 越 高 ， 也 束 是 测试 者 发 现 的 错误 多 ， 发 布 后 客户 发 现 的 错误 就 越 少 ， 降 
低 了 外 部 故障 不 一 致 成 本 ， 达 到 了 节约 总 成 本 的 目的 ， 可 获得 较 高 的 测试 投资 回报 率 
(ROI)。 因 此 ， 缺 陷 探 测 率 是 衡量 测试 投资 回报 的 一 个 重要 指标 。 


4.9.5 ”测试 投资 回报 举例 


下 面 , 通过 一 个 案例 来 说 明 质 重 成 本 的 概念 。 假设 对 一 个 开发 的 客户 管理 软件 CRM 
进行 测试 。 属 于 质量 预防 方面 的 一 致 性 成 本 只 考虑 软件 测试 的 投资 ， 把 发 布 之 前 和 之 后 
发 现 及 修改 的 错误 看 成 非 一 致 性 成 本 ， 假 设 发 现 的 错误 为 300 个 ， 故 障 成 本 已 知 ， 测 斌 
过 程 的 估算 如 下 。 

各 阶段 花费 在 发 现 及 修改 错误 的 成 本 假设 如 下 : 
@ 在 开发 过 程 单元 测试 阶段 ， 软 件 开发 人 员 发 现 及 修改 一 个 错误 需要 50 元 ; 
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@ 建立 独立 的 测试 进行 集成 和 系统 测试 ， 测 试 人 员 发 现 错误 ， 开 发 人 员 修 改 后 ， 
测试 人 员 再 确认 ， 一 个 错误 需要 300 元 : 

@@ 在 产品 发 布 后 ， 由 客户 发 现 ， 报 告 技 术 支 持 人 员 、 相 关 开 发 人 员 修改 ， 测 试 组 
再 进行 回归 测试 ， 一 个 错误 需要 2000 元 。 

第 1 种 情况 ， 开 发 单位 未 建立 独立 测试 队伍 ， 由 开发 人 员 进 行 测试 ， 发 现 100 个 错 
误 ， 而 产品 发 布 后 客户 发 现 错误 200 个 ， 只 存在 故障 成 本 构成 的 总 成 本 为 405000 元 , 缺 
陷 探 测 率 为 33.30%。 

第 2 种 情况 ， 开 发 单位 建立 了 独立 测试 队伍 ， 进 行 手 工 测试 。 投 资 预算 人 员 费 用 为 
60000 元 ， 测 试 环境 使 用 费 为 8000 元 ， 测 试 投资 〈 一 致 性 成 本 ) 为 68000 元 ;除了 开发 
过 程 中 开发 人 员 发 现 并 修改 100 个 错误 外 ， 测 试 过 程 中 测试 人 员 发 现 错误 150 个 ， 而 产 
品 发 布 后 客户 发 现 50 个 错误 。 总 质量 成 本 下 降 到 218000 元 〈 如 表 4-2 所 示 )， 手 工 测试 
总 质量 成 本 节约 了 187000 元 ， 即 为 利润 。 投 资 回报 率 (ROI) 为 275%， 人 缺陷 探测 率 为 
83.3%。 
节约 的 成 本 i 一 利润 j a 
一 

_ 405000 - 218000 
”68000 
=275 % 
DDP = 一 一 -gsee 100% 
Bugs,。- + BUBS ne 
。_100+190 pe 
100+190+10 
=83.3 % 

第 3 种 情况 ， 开 发 单位 在 独立 测试 中 ， 采 用 自动 测试 工具 ， 投 资中 增加 10000 元 的 
工具 使 用 费 , 测试 投资 为 (一 致 性 成 本 ) 78000 元 。 由 于 使 用 测试 工具 ， 测 试 人 员 在 测 
试 中 发 现 错误 增加 到 190 个 , 在 产品 发 布 后 ， 客 户 发 现 错误 下 降 到 10 个 。 总 质量 成 本 下 
降 到 160000 元 ， 比 未 建立 独立 测试 前 节约 了 245000 元 。 投 资 回报 率 为 314%， 人 缺陷 探 
测 率 为 96.7%。 z z 


ROI = 


x100% 


_ 405000 一 160000 


ROI = 一 一 一 一 一 X100% 
78000 
= 引 49%6 
DDP = _100+120 100% 
100+190+10 
=96.7 % 
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综 上 所 述 ， 建 立 独立 的 软件 测试 ， 选 择 好 的 测试 方案 ， 不 但 软件 缺陷 的 探测 率 高 
有 效 地 控制 软件 的 风险 ， 提 高 软件 质量 ， 而 且 降 低 了 软件 的 质量 成 本 ， 测 试 的 投资 回报 
率 也 将 随 着 明显 提高 。 


表 4-2 测试 投资 回报 分 析 


TE ET 
W000 
2 EU TT 
0 e000 
MU TE 0 ET 
和 发 [每 外 RU 本 | 00 ET | 100 

村 | 8 区) MMR 本 | 500 | 5000 | 000 
me am | | | ET 
下 | 0 30 
成 | 0 | 5700 
本 | Ri 数 ET ET | 0 
| 全 人名 用 本 | 2000 | 2000 | 5000 

下 | -ask | | em | ran 
Ro TY 
DpP 67% 
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第 二 篇 测试 技术 
第 5 章 黑 盒 测试 案例 设计 技术 


5.1 概述 


本 章 介绍 黑 盒 测试 的 概念 和 进行 黑 盒 测试 的 目的 与 意义 ， 及 关于 等 价 类 划分 、 边 界 
值 分 析 、 因 果 图 法 、 判 定 表 法 、 正 交 试 验 法 、 功 能 图 法 等 测试 用 例 设计 方法 的 原理 与 实 
现 ， 并 从 测试 设计 说 明 、 测 试用 例 说 明 、 测 试 程序 说 明 三 个 方面 介绍 如 何 编写 测试 用 例 ， 
最 后 结合 一 个 ATM 的 例子 体现 如 何 设计 测试 用 例 。 


S.2 测试 用 例 设计 方法 


初 涉 软 件 测试 者 可 能 认为 使 到 软件 后 就 可 以 立即 进行 测试 ， 并 希望 马上 找 出 软件 的 
所 有 缺陷 ， 这 种 想法 就 如 同 没有 受过 工程 训练 的 开发 工程 师 急 于 去 编写 代码 一 样 。 软 件 
测试 也 是 一 个 工程 ， 也 知 要 按照 工程 的 角度 去 认识 软件 测试 ， 在 具体 的 测试 实施 之 前 ， 
我 们 需要 明日 我 们 测试 什么 , 怎么 测试 等 , 也 就 是 说 通过 制定 测试 用 例 指导 测试 的 实施 。 


5.2.1 什么 是 测试 用 例 


所 谓 的 测试 用 例 设 计 就 是 将 软件 测试 的 行为 活动 ， 作 一 个 科学 化 的 组 织 归 纳 。 软 件 
测试 是 有 组 织 性 、 步 又 性 和 计划 性 的 ， 而 设计 软件 测试 用 例 的 目的 ， 就 是 为 了 能 将 软件 
测试 的 行为 转换 为 可 管理 的 模式 。 软 件 测试 是 软件 质量 管理 中 最 实际 的 行动 ， 同 时 也 
是 耗 时 最 多 的 一 项 。 基 于 时 间 因 素 的 考虑 ， 软 件 测试 行为 必须 能 够 加 以 量化， 才能 进 
一 步 让 管理 阶层 掌握 所 需要 的 测试 过 程 ， 而 测试 用 例 就 是 将 测试 行为 具体 量化 的 方法 
之 一 。 
简单 地 说 ， 测 试用 例 就 是 设计 一 个 情况 ， 软 件 程序 在 这 种 情况 下 ， 必 须 能 够 正常 运 
行 并 且 达 到 程序 所 设计 的 执行 结果 。 如 果 程 序 在 这 种 情况 下 不 能 正常 运行 ， 而 且 这 种 问 
题 会 重复 发 生 ， 那 就 表示 软件 程序 人 员 已 经 测 出 软件 有 缺陷 ， 这 时 候 就 必须 将 这 个 问题 
标示 出 来 ， 并 且 和 输入 到 问题 跟踪 系统 内 ， 通 知 软件 开发 人 员 。 软 件 开 发 人 员 接 获 通知 后 ， 
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将 这 个 问题 修改 完成 于 下 一 个 测试 版 本 内 ， 软 件 测试 工程 师 取 得 新 的 测试 版 本 后 ， 必 须 
利用 同一 个 用 例 来 测试 这 个 问题 ， 确 保 该 问题 已 修改 完成 。 

因为 我 们 不 可 能 进行 穷 举 测 试 ， 为 了 节省 时 间 和 资源 、 提 融 测 试 效率 ， 必 须要 从 数 
量 极 大 的 可 用 测试 数据 中 精心 挑选 出 具有 代表 性 或 特殊 性 的 测试 数据 来 进行 了 测试 。 

使 用 测试 用 例 的 好 处 主要 体现 在 以 下 几 个 方面 。 

W 在 开始 实施 测试 之 六 设计 好 测试 用 例 ， 可 以 避免 让 目测 试 并 提高 测试 效率 。 

包 测试 用 例 的 使 用 令 软件 测试 的 实施 重点 突 出 、 目 的 明确 。 

@ 在 软件 版 本 更 新 后 只 需 修正 少 部 分 的 测试 用 例 便 可 展开 测试 工作 ， 降 低 工 作 强 
度 ， 缩 短 项 目 周 期 。 

地 功能 模块 的 通用 化 和 复 用 化 使 软件 易于 开发 ， 而 测试 用 例 的 通用 化 和 复 用 化 则 
会 使 次 件 测试 多 于 开展 ， 并 随 春 测 试用 例 的 不 断 业 化 其 效率 也 不 断 攀 升 。 

具体 的 黑 盒 测试 用 例 设计 方法 包括 等 价 类 划分 法 、 边 界 值 分 析 法 、 错 误 推测 法 、 
果 图 法 、 判 定 表 了 驱动 法 、 正 交 试 验 设 计 法 、 功 能 图 法 等 。 应 该 说 ， 这 些 方 法 是 比较 实用 
的 ， 但 采用 什么 方法 ， 在 使 用 时 目 然 要 针对 开发 项 目的 特点 对 方法 加 以 适当 的 选择 。 下 
面 我 们 讨论 几 种 利用 的 方法 。 


5.2.2 ”等 价 类 划分 法 


等 价 类 划分 是 一 种 典型 的 黑 盒 测 试 方法 ， 用 这 一 方法 设计 测试 用 例 完 全 不 考虑 程序 
的 内 部 结构 ， 只 根据 对 程序 的 要 求 和 说 明 ， 即 需求 规格 说 明 书 。 我 们 必须 仔细 分 析 和 推 
痪 说 明 书 的 各 项 需求 ， 特 别 是 功能 需求 。 把 说 明 中 对 输入 的 要 求 和 输出 的 要 求 区 别 开 来 
并 加 以 分 解 。 

由 于 穷 举 测试 工作 量 太 大 ， 以 至 于 无 法 实际 完成 ， 促 使 我 们 在 大 量 的 可 能 数据 中 选 
取 其 中 的 一 部 分 作为 测试 用 例 。 例 如 ， 在 不 了 解 等 价 分 配 技 术 的 前 提 下 ， 我 们 做 计算 器 
程序 的 加 法 测试 时 ， 测 试 了 1+1，1+2，1+3 和 144 之 后 ， 还 有 必要 测试 1+5 和 1+6 吗 ， 
能 否 放心 地 认为 它们 是 正确 的 ? 我 们 感觉 1+5 和 1+6， 与 前 面 的 1+1， 1+2 都 是 很 类 似 
的 简单 加 法 。 

等 价 类 划分 的 办 法 是 把 程序 的 输入 域 划分 成 若干 部 分 ， 然后 从 每 个 部 分 中 选取 少数 
代表 性 数据 作为 测试 用 例 。 每 一 类 的 代表 性 数据 在 测试 中 的 作用 等 价 于 这 一 类 中 的 其 他 
值 ， 也 就 是 说 ， 如 果 某 一 类 中 的 一 个 例子 发 现 了 错误 ， 这 一 等 价 类 中 的 其 他 例子 也 能 发 
现 同 样 的 错误 ， 反 之 ， 如 果 某 一 类 中 的 一 个 例子 没有 发 现 错误 ， 则 这 一 类 中 的 其 他 例子 

也 不 会 查 出 错误 《除非 等 价 类 中 的 某 些 例 子 属 于 另 一 等 价 类 ， 因 为 几 个 等 价 类 是 可 能 相 
交 的 )。 使 用 这 一 方法 设计 测试 用 例 , 首先 必须 在 分 析 和 需求 规格 说 明 的 基础 上 划分 等 价 类 ， 
列 出 等 价 类 表 。 
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1. 划分 等 价 类 和 列 出 等 价 类 表 

等 价 类 是 指 某 个 输入 域 的 子 集合 。 在 该 子 集合 中 ， 各 个 输入 数据 对 于 揭露 程序 中 
的 错误 都 是 等 效 的 。 并 合理 地 假定 : 测试 某 等 价 类 的 代表 值 就 等 于 对 这 一 类 其 他 值 的 
测试 。 

因此 ， 可 以 把 全 部 输入 数据 合理 地 划分 为 若干 等 价 类 ， 在 每 一 个 等 价 类 中 取 一 个 数 
据 作为 测试 的 输入 条 件 ， 就 可 以 用 少量 代表 性 的 测试 数据 取得 较 好 的 测试 结果 。 等 价 类 
划分 有 两 种 不 同 的 情况 ， 有效 等 价 类 和 无 效 等 价 类 。 

有 效 等 价 类 : 指 对 于 程序 的 规格 说 明 来 说 是 合理 的 、 有 意义 的 输入 数据 构成 的 集合 。 
利用 有 效 等 价 类 可 检验 程序 是 否 实现 了 规格 说 明 中 所 规定 的 功能 和 性 能 。 

无 效 等 价 类 : 与 有 效 等 价 类 的 定义 恰巧 相反 。 - 

设计 测试 用 例 时 ， 要 同时 考虑 这 两 种 等 价 类 。 因 为 软件 不 仅 要 能 接收 合理 的 数据 ， 
也 要 能 经 受 意 外 的 考验 。 这 样 的 测试 才能 确保 软件 具有 更 高 的 可 靠 性 。 

下 面 给 出 6 条 确定 等 价 类 的 原则 ; 

Q@ 在 输入 条 件 规定 了 取 值 范围 或 值 的 个 数 的 情况 下 ， 可 人 
两 个 无 效 等 价 类 。 

@ 在 输入 条 件 规定 了 输入 值 的 集合 或 者 规定 了 “必须 如 何 ” 的 条 件 的 情况 下 
以 确立 一 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 

@ 在 输入 条 件 是 一 个 布尔 量 的 情况 下 ， 可 确定 一 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 

@) 在 规定 了 输入 数据 的 一 组 值 (假定 n 个 )， 并 且 程 序 要 对 每 一 个 输入 值 分 别处 理 
的 情况 下 ， 可 确立 n 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 

@@ 在 规定 了 输入 数据 必须 遵守 的 规则 的 情况 下 ， 可 确立 一 个 有 效 等 价 类 符合 规 
则 ) 和 若干 个 无 效 等 价 类 〈 从 不 同 角 度 违反 规则 )。 

在 确 知已 划分 的 等 价 类 中 ， 各 元 素 在 程序 处 理 中 的 方式 不 同 的 情况 下 ， 则 应 再 
将 该 等 价 类 进一步 地 划分 为 更 小 的 等 价 类 。 

在 确立 了 等 价 类 之 后 ， 建 立 等 价 类 表 ， 列 出 所 有 划分 出 的 等 价 类 如 表 .5-1 所 示 。 


家 5-1 等 价 类 表示 例 


输入 条 件 有 效 等 价 类 “| 无 效 等 价 类 有 效 等 价 类 “| 无 效 等 价 类 


2 确定 测试 用 例 . | 

根据 已 列 出 的 等 价 类 表 ， 按 以 下 步骤 确定 测试 用 例 ， 

Q 为 每 个 等 价 类 规定 一 个 惟一 的 编号 。 

@ 设计 一 个 新 的 测试 用 例 ， 使 其 尽 可 能 多 地 和 粮 盖 尚未 六 盖 的 有 效 等 价 类 。 重 复 这 
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一 步 ， 最 后 使 得 所 有 有 效 等 价 类 均 被 测试 用 例 所 覆盖 。 

图 设计 一 个 新 的 测试 用 例 ， 使 其 只 覆盖 一 个 无 效 等 价 类 。 重 复 这 一 步 使 所 有 无 效 
等 价 类 均 被 团 盖 。 

在 寻找 等 价 区 间 时 ， 想 办 法 把 软件 的 相似 输入 、 输 出 、 操 作 分 成 组 。 这 些 组 就 是 等 
价 区 间 。 请 看 一 些 例子 。 
”在 两 数 相 加 用 例 中 ， 测 试 1+13 和 1499999999 似乎 有 点 不 同 。 这 是 一 种 直觉 ， 一 个 
是 普通 加 法 ， 而 另 一 个 似乎 有 些 特殊 ， 这 个 直觉 是 对 的 。 程 序 对 1 和 最 大 数值 相 加 的 处 
理 和 对 两 个 小 一 些 的 数值 相 加 的 处 理 有 所 不 同 。 后 者 必须 处 理 滋 出 情况 。 因 为 软件 操作 
可 能 不 同 ， 所 以 这 两 个 用 例 属 于 不 同 的 等 价 区 间 。 

如 果 具 有 编程 经 验 ， 就 可 能 会 想到 更 多 可 能 导致 软件 操作 不 同 的 “特殊 ”数值 。 如 
果 不 是 程序 员 ， 也 不 用 担心 ， 你 很 快 就 会 学 到 这 种 技术 , 无 须 了 解 代 码 细 节 就 可 以 运用 。 

如 图 5-1 所 示 是 复制 的 多 种 方法 ， 给 出 ea 
算 器 程序 。 每 一 项 功能 〈 即 复制 和 粘贴 ) 有 5$ 种 执行 gb 
方式 。 要 想 复 制 ， 可 以 单 击 复 制 菜单 命令 ， 键 入 C， 
按 Ctrl+C 或 Ctrl+Shift+C 组 合 键 。 任 何 一 种 输入 途径 
都 会 把 当前 数值 复制 到 剪贴 板 中 ， 一 一 执行 同样 的 输 
出 操作 ， 产 生 同 样 的 结果 。 

如 果 要 测试 复制 命令 ， 可 以 把 这 5 种 输入 途径 划 
分 减 为 3 个 ， 单 击 菜单 命令 , 键入 C 和 按 CtritC 组 合 
键 。 对 软件 质量 有 了 信心 之 后 ， 知 道 无 论 以 何 种 方式 
激活 复制 功能 都 工作 正常 ， 甚 至 可 以 进一步 缩减 为 1 


个 区 间 ， 例 如 技 Ctrl+C 组 合 键 。 图 5-1 复制 的 多 各 方法 

再 看 下 一 个 例子 。 看 一 下 在 标准 的 另存 为 对 话 框 〈 如 图 5-2 所 示 ) 中 输入 文件 名 称 
的 情形 。 

Windows 文件 名 可 以 包含 除了 “、”“/”“: ”< 和“ 之 外 的 任 


意 字 符 。 文 件 名 长 度 是 1 一 255 个 字符 。 如 果 为 文件 名 创建 测试 用 例 ， 等 价 区 间 有 合法 字 
符 、 非 法 字符 、 合 法 长 度 的 名 称 、 过 长 名 称 和 过 短 名 称 。 . 

例题 ， 根 据 下 面 给 出 的 规格 说 明 ， 利 用 等 价 类 划分 的 方法 ， 给 出 足够 的 测试 用 例 。 
“一 个 程序 读 入 3 个 整数 , 把 这 3 个 数值 看 作 一 个 三 角形 的 3 条 边 的 长 度 值 。 这 个 程序 要 
打印 出 信息 ， 说 明 这 个 三 角形 是 不 等 边 的 、 是 等 腰 的 、 还 是 等 边 的 ”。 

我 们 可 以 设 三 角形 的 3 条 边 分 别 为 A，B，C。 如 果 它 们 能 够 构成 三 角形 的 3 条 边 ， 
必须 满足 : 

A>0, B>0, C>0, A+B>C, B+C>A,， A+C>B. 
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| se FRR 
:NAD): rora 文 区 可 , -了 康 少 上 


图 5-2 ”存盘 对 话 杠 


如 果 是 等 腰 的 ， 还 要 判断 A=B， 或 B=C， 或 A=C 
如 果 是 等 边 的 ， 则 需 判 断 是 否 A=B, 且 B=C,， 且 A=C。 
列 出 等 价 类 表 ， 如 表 5-2 所 示 。 


家 52 等 价 类 理 
输入 条 件 有 效 等 价 类 无 效 等 价 类 
(A>0), (A<0), (7) 
(B>0), | (B<0), (8) 
”| (C>0), (C0), (9) 
是 省 三 角形 的 3 条 这 (A+B>C), (A+B<C), (10) 
(B+C>A), : (B+C<A), (11) 
(A+C>B) (A+C<B) (12) 
(A 天 B) and (BC) and (CKA), 
是 哲 等 腰 三 角形 
(16) 
(A=B) and (B=C) and (C=A) (0 8) 
= =C) a =A), 
是 否 等 边 三 角形 ey (BC), (19) 
(CEA), (20) 


设计 测试 用 例 : 输入 顺序 是 【A，B，C】， 如 表 5-3 所 示 。 
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表 5-3 测试 用例 
序号 输出 
1 |t3, 4 5 [0 0 Gy G4) (5) (6) ”| 让 = 角 忆 
2 ov ID | 
; 
4 rao lo | 不 移 成 = 入 
sa | 
6 | 
DE CTE HE DE 
8 
9 ES 
10 3 4 3 Tay, 02), ey cay, 5 06). (15) z 
11 |【3, 4, 5】 | CD, (2), (3), (4), (5), (6), (16) | 非 等 妥 三 角形 
1 是 等 边 三 角形 


13 【3, 4, 4] (1), (2), (43), (4), (5), (6), (14), (18) 


14 3, 4, 3 | COI), C2), C3), C4), (5), (6), (15), (19) 非 等 边 三 角形 
15 [3, 3, 4】 | (C1), (2), (3), (4), (5), (6€), (13), (20) 


请 记 住 ， 等 价 分 配 的 目标 是 把 可 能 的 测试 用 例 组 合 缩减 到 仍然 足以 满足 软件 测试 需 
求 为 止 。 因 为 ， 选 择 了 不 完全 测试 ， 就 要 冒 一 定 的 风险 ， 所 以 必须 仔细 选择 分 类 。 

关于 等 价 分 配 最 后 要 讲 的 一 点 是 ， 这 样 做 有 可 能 不 客观 。 科 学 有 时 也 是 一 门 艺术 。 
测试 同一 个 复杂 程序 的 两 个 软件 测试 员 ， 可 能 会 制定 出 两 组 不 同 的 等 价 区 间 。 只 要 审查 
等 价 区 间 的 人 都 认为 它们 足以 维 盖 测试 对 象 就 可 以 了 。 


5.2.3 ”边界 值 分 析 法 


人 们 从 长 期 的 测试 工作 经 验 得 知 ， 大 盘 的 错误 是 发 生 在 输入 或 输出 范围 的 边界 上 
的 ， 而 不 是 在 输入 范围 的 内 部 。 因 此 针对 各 种 边界 情况 设计 测试 用 例 ， 可 以 查 出 更 多 的 
错误 。 例 如 ， 在 做 三 角形 计算 时 ， 要 输入 三 角形 的 3 个 边 长 A、B 和 C。 这 3 个 数值 应 
当 满 足 A>0、B>0、C>0、A+B>C、A+C>B、B+C>A， 才 能 构成 三 角形 。 但 如 果 把 6 个 
不 等 式 中 的 任何 一 个 大 于 号 “>” 错 写成 大 于 等 于 号 “ 宇 ”， 那 就 不 能 构成 三 角形 。 问 题 
恰 愉 出 现在 容易 被 玖 忽 的 边界 附近 。 这 里 所 说 的 边界 是 指 相当 于 输入 等 价 类 和 输出 等 价 
类 而 言 ， 稍 高 于 其 边界 值 及 稍 低 于 其 边界 值 的 一 些 特定 情况 。 

1。 边界 条 件 

我 们 可 以 想象 一 下 ， 如 果 在 悬崖 峭壁 边 可 以 自信 地 安全 行走 ， 平 地 就 不 在 话 下 了 。 
如 果 软 件 在 能 力 达 到 极限 时 能 够 运行 ， 那 么 在 正常 情况 下 一 般 也 就 不 会 有 什么 问题 。 
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边界 条 件 是 特殊 情况 ， 因 为 编程 从 根本 上 说 不 怀疑 边界 有 问题 。 育 怪 的 是 ， 程 序 在 
处 理 大 量 中 间 数 值 时 都 是 对 的 ， 但 是 可 能 在 边界 处 出 现 错误 。. 下 面 的 一 段 源 代码 说 明了 
在 一 个 极 简单 的 程序 中 是 如 何 产生 边界 条 件 问 题 的 。 


rem create a 10 element integer array 
rem initialize each element to-1 

dim data (10) as integer 

dim 1 as integer 

fori=l to 10 

data (i) =-1 

next } 

end 


这 段 代 码 的 意图 是 创建 包含 10 个 元 素 的 数组 ,并 为 数组 中 的 每 一 个 元 素 赋 初 值 -1。 
看 起 来 相当 简单 。 它 建立 了 包含 10 个 整数 的 数组 data 和 一 个 计数 值 i。For 循环 是 从 1 一 
10， 数 组 中 从 第 1 个 元 素 到 第 10 个 元 素 被 赋予 数值 -1。 那 么 边界 问题 在 哪儿 呢 ? 

在 大 多 数 开 发 语言 脚本 中 ， 应 当 以 声明 的 范围 定义 数组 ， 在 本 例 中 定义 语句 是 dim 
data (10) as interger， 第 一 个 创建 的 元 素 是 data (0)， 而 不 是 data(1)。 该 程序 实际 上 
创建 了 一 个 从 data (0) ~ data (10) 共 11 个 元 素 的 数组 。 程 序 从 1 一 10 循环 将 数组 元 
素 的 值 初始 化 为 -1， 但 是 由 于 数组 的 第 一 个 元 素 是 data (0)， 因 此 它 没有 被 初始 化 。 程 
序 执行 完毕 ， 数 组 值 如 下 : 


data(0)= 0 data(6)= -} 


data(l)}=-1 data(7)=-I 
data(2)=-1 data(8)=-!i 
data(3)=-1 data(9)=-! 
data(4)= -1 data(10)=-l 
data(S)= -1 


注意 data (0) 的 值 是 0， 而 不 是 -1。 如 果 这 位 程序 员 以 后 忘记 了 ， 或 者 其 他 程序 员 
不 知道 这 个 数据 数组 是 如 何 初始 化 的 , 那么 他 就 可 能 会 用 到 数组 的 第 1 个 元 素 data (0)， 
以 为 它 的 值 是 -1。 诸 如 此 类 的 问题 很 常见 ， 在 复杂 的 大 型 软件 中 ， 可 能 导致 极其 严重 的 
软件 缺陷 。 

2. 次 边界 条 件 

土 面 讨论 的 普通 边界 条 件 是 最 容易 找到 的 。 它 们 在 产品 说 明 书 中 有 定义 ， 或 者 在 使 
用 软件 的 过 程 中 确定 。 而 有 些 边界 在 软件 内 部 ， 最 终 用 户 几 乎 看 不 到 ， 但 是 软件 测试 仍 
有 必要 检查 。 这 样 的 边界 条 件 称 为 次 边界 条 件 或 者 内 部 边界 条 件 。 
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寻找 这 样 的 边界 不 要 求 软件 测试 员 具 有 程序 员 那 样 阅读 源 代 码 的 能 力 ， 但 是 要 求 大 
体 了 解 软 件 的 工作 方式 。2 的 乘 方 和 ASCII 表 就 是 这 样 的 例子 。 

(1) 2 的 乘 方 

计算 机 和 软件 的 计数 基础 是 二 进 制 数 ， 用 位 (bit) 来 表示 0 和 1， 一 个 字 节 〈byte) 
由 8 位 组 成 ， 一 个 字 (word) 由 两 个 字 节 组 成 等 。 表 5-4 中 列 出 了 常用 的 2 的 滋 方 单位 
及 其 范围 或 值 。 


表 5-4 软件 中 2 的 宋 方 


林 二 区 而 友人 
Loa 
mi | os | 多 | i057 


字 节 1,073,741,824 
字 0~65,535 1,099,511,627,776 


表 5-4 中 所 列 的 范围 和 值 是 作为 边界 条 件 的 重要 数据 。 除 非 软 件 向 用 户 提出 这 些 范 
围 ， 和 否则 在 和 需求 文档 中 不 会 指明 。 然 而 ， 它 们 通 第 由 软件 内 部 使 用 ， 外 部 是 看 不 见 的 ， 
当然 ， 在 产生 软件 缺陷 的 情况 下 可 能 会 看 到 。 

在 建立 等 价 区 间 时 ， 要 考虑 是 否 需 要 包含 2 的 乘 方 边界 条 件 。 例 如 ， 如 果 软 件 接受 
用 户 输入 1 一 1000 范围 内 的 数字 ， 谁 都 知道 在 合法 区 间 中 包含 1 和 1000， 也 许 还 要 有 2 
和 999。 为 了 履 盖 任何 可 能 的 2 的 乘 方 次 边界 ， 还 要 包含 临近 双 位 边界 的 14、15 和 16， 
以 及 临近 字 节 边界 的 254、255 和 256。 

(2) ASCII 表 

另 一 个 常见 的 次 边界 条 件 是 ASCII 字符 表 。 如 表 5-5 所 示 是 部 分 ASCII 值 表 的 清单 。 


表 5.5 部 分 ASCII 值 表 
字符 ASCII 什 
Nol | 0 | | ww | 2 | Ww | % | 多 
Space | 32 | Y | s% | »。 | 57 | +b | 9 
rr :| 和 | zz | % | : | | y | i 
0 | 4 | | | @ | 4 | | zz 
! | 4 | ' | % | A | 6 | { | 713 


注意 , 表 5-5 不 是 结构 良好 的 连续 表 。 0 一 9 的 后 面 ASCII 值 是 48 一 57。 斜 杠 字符 (7/) 
在 数字 0 的 前 面 ， 而 冒号 字符 “: ”在 数字 9 的 后 面 。 大 写字 母 A 一 Z 对 应 65 一 90。 小 
写字 母 对 应 97 一 122。 这 些 情 况 都 代表 次 边界 条 件 。 

如 果 测 试 进行 文本 输入 或 文本 转换 的 软件 ， 在 定义 数据 区 间 包 含 哪些 值 时 ， 参 考 一 
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下 ASCII 表 是 相当 明智 的 。 例如 , 如 果 测 试 的 文本 框 只 接受 用 户 输入 字符 A~Z 和 a~z， 
就 应 该 在 非法 区 间 中 包含 ASCII 表 中 这 些 字符 前 后 的 值 @、[ 、 和 { 。 

(3) 其 他 一 些 边界 条 件 

另 一 种 看 起 来 很 明显 的 软件 缺陷 来 源 是 当 软 件 要 求 输入 时 〔 比 如 在 文本 框 中 ) ,不 是 
没有 输入 正确 的 信息 ， 而 是 根本 没有 输入 任何 内 容 ， 只 按 了 Enter 键 。 这 种 情况 在 产品 
说 明 书 中 常常 被 忽视 ， 程 序 员 也 可 能 经 常 址 忘 ， 但 是 在 实际 使 用 中 却 时 有 发 生 。 程 序 员 
总 会 习惯 性 地 认为 用 户 要 么 输入 信息 ， 不 管 是 看 起 来 合法 的 或 非法 的 信息 ， 要 么 就 会 选 
择 Cancel 键 放弃 输入 ， 如 果 没 有 对 空 值 进行 好 的 处 理 的 话 ， 丽 怕 程序 员 自 己 都 不 知道 程 
序 会 引 向 何方 。 

正确 的 软件 通常 应 该 将 输入 内 容 默认 为 合法 边界 内 的 最 小 值 ， 或 者 合法 区 间 内 的 某 
个 合理 值 ， 否 则 ， 返 回 错误 提示 信息 。 

因为 这 些 值 通 常 在 软件 中 进行 特殊 处 理 ， 所 以 不 要 把 它们 与 合法 情况 和 非法 情况 混 
在 一 起 ， 而 要 建立 单独 的 等 价 区 间 。 

3. 边界 值 的 选择 方法 

边界 值 分 析 是 一 种 补充 等 价 划 分 的 测试 用 例 设计 技术 ， 它 不 是 选择 等 价 类 的 任意 元 
素 ， 而 是 选择 等 价 类 边界 的 测试 用 例 。 实 践 证 明 ， 为 检验 边界 附近 的 处 理 专门 设计 测试 
用 例 ， 常 常 取得 良好 的 测试 效果 。 边 界 值 分 析 法 不 仅 重视 输入 条 件 边界 ， 而 且 也 适用 于 
输出 域 测试 用 例 。 

对 边界 值 设计 测试 用 例 ， 应 遵循 以 下 几 条 原则 : 

@ 如 果 输 入 条 件 规定 了 值 的 范围 ， 则 应 取 刚 达到 这 个 范围 的 边界 的 值 ， 以 及 刚刚 
超越 这 个 范围 边界 的 值 作为 测试 输入 数据 。 

@ 如 果 输 入 条 件 规定 了 值 的 个 数 ， 则 用 最 大 个 数 、 最 小 个 数 、 比 最 小 个 数 少 1、 比 
最 大 个 数 多 ! 的 数 作为 测试 数据 。 

@ 根据 规格 说 明 的 每 个 输出 条 件 ， 使 用 前 面 的 原则 @。 

@ 根据 规格 说 明 的 每 个 输出 条 件 ， 应 用 前 面 的 原则 @。 

@ 如 果 程 序 的 规格 说 明 给 出 的 输入 域 或 输出 域 是 有 序 集合 ， 则 应 选取 集合 的 第 一 
个 元 素 和 最 后 一 个 元 素 作为 测试 用 例 。 

如 果 程 序 中 使 用 了 一 个 内 部 数据 结构 ， 则 应 当选 择 这 个 内 部 数据 结构 边界 上 的 
值 作 为 测试 用 例 。 

@ 分 析 规格 说 明 ， 找 出 其 他 可 能 的 边界 条 件 。 


5.2.4 错误 推测 法 
错误 推测 法 就 是 基于 经 验 和 直觉 推测 程序 中 所 有 可 能 存在 的 各 种 错误 ， 有 针对 性 地 
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设计 测试 用 例 的 方法 。 

错误 推测 法 的 基本 思想 是 列举 出 程序 中 所 有 可 能 有 的 错误 和 容易 发 生 错 误 的 特殊 
情况 ， 根 据 它 们 选择 测试 用 例 。 例 如 ， 设 计 一 些 非法 、 错 误 、 不 正确 和 垃圾 数据 进行 答 
入 测试 是 很 有 意义 的 。 如 果 软 件 要 求 输 入 数字 ， 就 输入 字母 。 如 果 软 件 只 接受 正 数 ， 就 
输入 负数 。 如 果 软 件 对 时 间 敏 感 , 就 看 它 在 公元 3000 年 是 否 还 能 正常 工作 。 还 有 , 例如 ， 
在 单元 测试 时 曾 列 出 的 许多 在 模块 中 常见 的 错误 ， 以 前 产品 测试 中 曾经 发 现 的 错误 等 ， 
这 些 就 是 经 验 的 总 结 。 另 外 ， 输 入 数据 和 输出 数据 为 0 的 情况 ， 或 者 输入 表格 为 空格 或 
输入 表格 只 有 一 行 ， 这 些 都 是 容易 发 生 错误 的 情况 。 可 选择 这 些 情况 下 的 例子 作为 测试 
用 例 。 


5.2.5 ”因果 图 法 


前 节 介 绍 的 等 价 类 划分 方法 和 边界 值 分 析 法 都 是 着 重 考虑 输入 条 件 ， 并 没有 考虑 到 
输入 情况 的 各 种 组 合 ， 也 没 考 虑 到 各 个 输入 情况 之 间 的 相互 制约 关系 。 如 果 在 测试 时 必 
须 考 虑 输入 条 件 的 各 种 组 合 ， 可 能 的 组 合 数 将 是 天 文 数字 。 因 此 必须 考虑 描述 多 种 条 件 
的 组 合 ， 相 应 地 产生 多 个 动作 的 形式 来 考虑 设计 测试 用 例 ， 这 了 吏 需 要 利用 因果 图 。 在 软 
件 工 程 中 ， 有 些 程序 的 功能 可 以 用 判定 表 的 形式 来 表示 ， 并 根据 输入 条 件 的 组 合 情 况 规 
定 相 应 的 操作 。 很 自然 ， 应 该 为 判定 表 中 的 每 一 列 设计 一 个 测试 用 例 ， 以 便 保 证 测试 程 
序 在 输入 条 件 的 某 种 组 合 下 ， 操 作 是 正确 的 。 

1. 因果 图 设计 万 法 

因果 图 法 是 从 用 目 然 语言 书写 的 程序 规格 说 明 的 描述 中 找 出 因 ( 箱 入 条 件 ) 和 果 ( 输 
出 或 程序 状态 的 改变 )， 通 过 因果 图 转换 为 判定 表 。 

利用 因果 图 导出 测试 用 例 需 要 经 过 以 下 几 个 步骤 ; 

Q( 分 析 程 序 规格 说 明 的 描述 中 ， 哪 些 是 原因 ， 哪 些 是 结果 。 原 因 常 党 是 输入 条 件 
或 是 输入 条 件 的 等 价 类 ， 而 结果 是 输出 条 件 。 z 

四 分 析 程 序 规格 说 明 的 描述 中 语义 的 内 容 ， 并 将 其 表示 成 连接 各 个 原因 与 各 个 结 
果 的 “因果 图 ”。 

@ 标明 约束 条 件 。 由 于 语法 或 环境 的 限制 ， 有 些 原 因 和 结果 的 组 合 情 况 是 不 可 能 
出 现 的 。 为 表明 这 些 特定 的 情况 ， 在 因果 图 上 使 用 若干 个 标准 的 符号 标明 约束 条 件 。 

把 因果 图 转换 成 判定 表 。 

@ 为 判定 表 中 每 一 列表 示 的 情况 设计 测试 用 例 。 

因果 图 生成 的 测试 用 例 〈 局 部 ， 组 合 关系 下 的 ) 包括 了 所 有 输入 数据 的 取 TRUE 与 
取 FALSE 的 情况 , 构成 的 测试 用 例 数 目 达到 报 少 , 且 测 试用 例 数目 随 输 入 数据 数目 的 增 
加 而 增加 。 
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事实 上 ， 在 较为 复杂 的 问题 中 ， 这 个 方法 常常 是 十 分 有 效 的 ， 它 能 有 力 地 帮助 我 们 
确定 测试 用 例 。 当 然 ， 如 果 哪 个 开发 项 目 在 设计 阶段 就 采用 了 判定 表 ， 也 就 不 必 再 面 因 
果 图 了 ， 而 是 可 以 直接 利用 判定 表 设 计 测 试用 例 了 。 

通常 在 因果 图 中 ， 用 Ci 表示 原因 ，Ei 表示 结果 ， 其 基本 符号 如 图 5-3 所 示 。 各 结 点 
表示 状态 ， 可 取 “0” 或 “1” 值 。“0” 表 示 某 状态 不 出 现 ,“1” 表 示 某 状态 出 现 。 


OOO oN OR 


(a) 恒 等 (b) 非 
Ci Cl 
Vv Bi 人 Pi 
C» 要 C2 
(c) 或 (d) 与 


图 5-3 ”因果 图 的 基本 图 形 符号 


QD 恒 等 ， 者 原因 出 现 ， 则 结果 出 现 ; 若 原 因 不 出 现 ， 则 结果 也 不 出 现 。 
@ 非 (~~): 车 原 因 出 现 ， 则 结果 不 出 现 ， 者 原因 不 出 现 ， 则 结果 出 现 。 
@ 或 《V): 者 几 个 原因 中 有 1 个 出 现 ， 则 结果 出 现 ;， 者 几 个 原因 都 不 出 现 ， 则 结 


果 不 出 现 。 
@ 与 (人 ) 者 几 个 原因 都 出 现 ， 结 果 才 出 现 。 考 其 中 有 1 个 原因 不 出 现 ， 则 结果 
不 出 现 。 


为 了 表示 原因 与 原因 之 间 、 结 果 与 结果 之 间 可 能 存在 的 约束 条 件 ， 在 因果 图 中 可 以 
附加 一 些 表 示 约 束 条 件 的 符号 。 从 和 输入 《原因 ) 考虑 ， 有 4 种 约束 ， 例 如 ; (〈a)、(b)、 
(c)、(d)。 从 输出 (结果 ) 考虑 ， 还 有 1 种 约束 ， 例 如 : 〈e)， 如 图 5-4 所 示 。 


_ < OO a A 
b 。 ~Or 


(a) E ( 互 斥 ) ”(b) I (包含 ) (c) D (惟一 ) (d) R (要 求 ) (e) M 〈 屏 项) 
图 5-4 因果 图 的 约束 符号 
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QD E ( 互 斥 ): 表示 as b 两 个 原因 不 会 同时 成 立 ， 两 个 中 最 多 有 一 个 可 能 成 立 。 
@ 1 (包含 ); 表示 a、b、c 这 3 个 原因 中 至 少 有 一 个 必须 成 立 。 
@ 0O( 惟 一); 表示 a 和 bb 当中 必须 有 一 个 ， 且 仅 有 一 个 成 立 。 
R《〈 要 求 )， 表 示 当 a 出 现时 ，b 必须 也 出 现 。a 出 现时 不 可 能 b 不 出 现 。 
名 M〔 屏 项)， 表示 当 a 是 1 时 ，b 必须 是 0。 而 当 a 为 0 时 ，b 的 值 不 定 。 
2， 因果 图 测试 用 例 
例如 : 有 一 个 处 理 单价 为 1 元 5 角 钱 的 盒 装 饮料 的 自动 售 货 机 软件 。 若 投入 工 元 5 
角 硬 币 ， 按 下 “可 乐 "^“ 雪 条 ”或 “红茶 ”按钮 ， 相 应 的 饮料 就 送出 来 。 若 投入 的 是 两 
元 硬币 ， 在 送出 饮料 的 同时 退还 5 角 硬 币 。 
分 析 这 一 段 说 明 ， 我 们 可 以 列 出 原因 和 结果 。 
原因 : 投入 1 元 5 有 角 硬 币 ; 外 投入 2 元 硬币 ; 
@ 按 “ 可 乐 ”按钮 ; 按 “ 雪 外” 技 钮 ; @@ 按 “ 红 茶 ” 按 钮 。 
中 间 状 态 ，Q@ 已 投 币 ; 已 技 钮 。 
结果 : GD 退还 5 角 硬 币 ; @@ 送出 “可 乐 ”饮料 ; 
@@ 送出 “雪碧 ”饮料 ; 国 送出 “红茶 ”饮料 。 
根据 原因 和 结果 ,: 我 们 可 以 设计 这 样 一 个 因果 图 (如 图 5-5 所 示 。) 


输出 条 件 〈 结 果 ) 
输入 条 件 原因 ) 


i (21) 退还 5 角 而 币 
投入 1 元 5 角 珊 页。 一 ee 
ee -一 一 一 (11)、 


投入 2 元 硬币 (2) (22) 送 由 “可 乐 ” 饮料 


8 J 
技 “可乐 ” 技 钮 : (3) \Y : 


/ (23) 送出 “ 雪 匠 ”饮料 
技 “ 雪 攻 ” 技 钮 EE (12) 


一 (4) 
\ z y 的 送出 “红茶 ”饮料 
按 “红茶 ”按钮 


图 $-5 因果 图 
转换 为 测试 用 例 ， 如 表 5-6 所 示 ， 每 一 列 可 作为 确定 测试 用 例 的 依据 。 
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fam, 
Hr 


声 
bi 

> 家 

+ 

Hild! 

浏 

Ee 


外 专 | 洲 卫 
浅 | 泥 
侨 | 沿 
si 
直 | 演 
总 | 总 
3 | 寺 
守 
条 
上 


OS 一 I |IoOolISoISIS 


送出 “ 雪 和 用” 饮 米 
送出 “红茶 ” 饮 来 (24) 


5.2.6 ”判定 表 驱 动 法 


前 面 因果 图 方法 中 已 经 用 到 了 判定 表 。 判 定 表 是 分 析 和 表达 多 逻辑 条 件 下 执行 不 同 
操作 的 情况 的 工具 。 在 程序 设计 发 展 的 初期 ,判定 表 就 已 被 用 作 编 写 程 序 的 辅助 工具 了 。 
它 可 以 把 复杂 的 逻辑 关系 和 多 种 条 件 组 合 的 情况 表达 得 较 明 确 。 : 

1. 判定 表 组 成 

判定 表 通 常 由 4 个 部 分 组 成 ， 如 图 5-6 所 示 。 


: 


规则 


本 5-6 ”判定 表 
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。 条件 桩 (condition stub): 列 出 了 问题 的 所 有 条 件 。 通 常 认为 列 出 的 条 件 的 次 序 


无 关 烷 要 。 

。 动作 桩 (action shub): 列 出 了 问题 规定 可 能 采取 的 操作 。 这 些 操 作 的 排列 顺序 
没有 约束 。 

。 条 件 项 (condition entry): 列 出 针对 它 所 列 条 件 的 取 值 ， 在 所 有 可 能 情况 下 的 真 
假 值 。 


e 动作 项 (action enty): 列 出 在 条 件 项 的 各 种 取 值 情况 下 应 该 采取 的 动作 。 

e 规则 :任何 一 个 条 件 组 合 的 特定 取 值 及 其 相应 要 执行 的 操作 。 在 判定 表 中 贯穿 
条 件 项 和 动作 项 的 一 列 就 是 一 条 规则 。 显 然 ， 判 定 表 中 列 出 多 少 组 条 件 取 值 ， 
也 就 有 多 少 条 规则 ， 条 件 项 和 动作 项 就 有 多 少 列 。 

2. 判定 表 建 立 

判定 表 的 建立 因 该 依据 软件 规格 说 明 ， 步 骤 如 下 : 

确定 规则 的 个 数 。 假 如 有 n 个 条 件 ， 每 个 条 件 有 两 个 取 值 (0，1)， 改 有 2n 种 

规则 。 

包 列 出 所 有 的 条 件 桩 和 动作 桩 。 

@ 填 入 条 件 项 。 

填 入 动作 项 。 制 定 物 始 判 定 表 。 

简化 。 合 并 相似 规则 或 者 相同 动作 。 

Beizer 指出 了 适合 使 用 判定 表 设 计 测试 用 例 的 条 件 ; 

GD 规格 说 明 以 判定 表 的 形式 给 出 ， 或 很 容易 转换 成 判定 表 。 

 @@ 条 件 的 排列 顺序 不 影响 执行 哪些 操作 。 

@) 规则 的 排列 顺序 不 影响 执行 哪些 操作 。 

由 当 某 一 规则 的 条 件 已 经 满足 ， 并 确定 要 执行 的 操作 后 ， 不 必 检 验 别 的 规则 。 

@@ 如 果 某 一 规则 要 执行 多 个 操作 ， 这 些 操作 的 执行 顺序 无 关 紧 要 。 


5.2.7 ” 正 交 试验 法 


利用 因果 图 来 设计 测试 用 例 时 ， 作 为 输入 条 件 的 原因 与 输出 结果 之 间 的 因果 关系 ， 
有 时 很 难 从 软件 需求 规格 说 明 中 得 到 。 人 往往 因果 关系 非 芝 庞大 ， 导 致 利 用 因果 图 而 得 到 
的 测试 用 例 数目 多 得 惊人 ， 给 软件 测试 带 来 沉重 的 负担 。 为 了 有 效 地 、 合理 地 减少 测试 
的 工时 与 费用 ， 可 利用 正 交 试 验 法 进行 测试 用 例 的 设计 。 

1. 正 交 试验 设计 方法 

依据 Galois 理论 ， 正 交 试 验 设计 方法 是 从 大 量 的 试验 数据 中 挑选 适量 的 、 有 代表 性 
的 点 ， 从 而 合理 地 安排 测试 的 一 种 科学 的 试验 设计 方法 。 
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正 交 试验 法 ， 就 是 使 用 已 经 造 好 了 的 表格 “一 一 ” 正 交 表 来 安排 试验 并 进行 数据 分 
析 的 一 种 方法 。 它 简单 易 行 并 且 计算 表格 化 ， 应 用 性 较 好 。 下 边 通过 一 个 例子 来 说 明正 
交 试 验 法 。 

例题 : 为 提高 某 化 工 产品 的 转化 率 ， 选 择 了 三 个 有 关 因 素 进行 条 件 试 验 ， 反 应 温度 
(A)， 反 应 时 间 (B)， 用 碱 量 (C)， 并 确定 了 它们 的 试验 范围 如 下 。 | 

® A: 80 一 90C 

。 B: 90 一 150 分 钟 ; 

es CC: 0% 一 7%。 

试验 目的 是 摘 清 楚 因 子 A、B、C 对 转化 率 有 什么 影响 ， 哪 些 是 主要 的 ， 哪 些 是 次 
要 的 ， 从 而 确定 最 适 生 产 条 件 ， 即 温度 、 时 间 及 用 碱 量 各 为 多 少 才能 使 转化 率 最 高 。 这 
里 ， 对 因子 A、B 和 C， 在 试验 范围 内 都 选 了 三 个 水 平 ， 如 下 所 示 。 

®。 A: Al=80'C, A2=85'C, A3=90°C.; 

。 B: Bl1=90 分 钟 ，B2=120 分 钟 ，B3=150 分 钟 ; 

。 C: C1=5%，C2=6%，C3=7%。 

当然 ， 在 正 交 试验 设计 中 ， 因 子 可 以 是 定量 的 ， 也 可 以 是 定性 的 。 而 定量 因子 各 水 
平 间 的 距离 可 以 相等 ， 也 可 以 不 相等 。 这 个 三 因子 三 水 平 的 条 件 试验 ， 通 常 有 两 种 试验 
方法 : 

Q 取 三 因子 所 有 水 平 之 间 的 组 合 , 即 AlB1C1, A1B1C2, A1B2C1,…… ，A3B3C3， 
共有 33=27 次 试验 。 用 图 5-7 表示 立方 体 的 27 个 节点 。 这 种 试验 法 叫做 全 面试 验 法 。 


关 ------ 


图 5-7 全 面试 验 法 取 点 
全 面试 验 对 各 因子 与 指标 间 的 关系 剖析 得 比较 清楚 。 但 试验 次 数 太 多 。 特 别 是 当 因 
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子 数目 多 ， 每 个 因子 的 水 平 数目 也 很 多 时 ， 试 验 量 非常 大 。 如 选 6 个 因子 ， 每 个 因子 取 
5 个 水 平时 ， 如 欲 做 全 面试 验 ， 则 需 4" 王 1$625 次 试验 ， 这 实际 上 是 不 可 能 实现 的 。 如 
果 应 用 将 要 介绍 的 正 交 试验 法 ， 只 做 25 次 试验 就 行 了 。 而 且 在 某 种 意义 上 讲 ， 这 25 次 
试验 代表 了 15625 次 试验 。 
包 ) 简单 对 比 法 ， 即 变化 一 个 因素 而 固定 其 他 因素 ， 如 首先 固定 B、C 于 BI、Cl， 
使 A 变化 ; 
Al 
B1C1 一 A2 
YA3 (好 结果 ) 
如 得 出 结果 A3 最 好 ， 则 固定 人 于 A3， C 还 是 Cl， 使 B 变化 : 
7B1 
A3C1 一 B2 (好 结果 ) 
NB3 本 
得 出 结果 以 B2 为 最 好 ， 则 固定 B 于 B2，A 于 A3， 使 C 变化 : 
AC1 
A3B2 一 C2 〈 好 结果 ) 
NC3 
试验 结果 以 C2 为 最 好 。 于 是 就 认为 最 好 的 工艺 条 件 是 A3B2C2。 
这 种 方法 一 般 也 有 一 定 的 效果 ， 但 缺点 很 多 。 首 先 这 种 方法 的 选 点 代表 性 很 差 ， 如 
按 上 述 方法 进行 试验 ， 试 验 点 完全 分 布 在 一 个 角 上 ， 而 在 一 个 很 大 的 范围 内 没有 选 点 ， 
因此 这 种 试验 方法 不 全 面 ， 所 选 的 工艺 条 件 A3B2C2 不 一 定 是 27 个 组 合 中 最 好 的 。 其 
次 ， 用 这 种 方法 比较 条 件 好 坏 时 ， 是 把 单个 的 试验 数据 拿 来 ， 进 行 数 值 上 的 简单 比较 ， 
而 试验 数据 中 必然 包含 着 误差 成 分 ， 所 以 单个 数据 的 简单 比较 不 能 剔除 误差 ， 必 然 造成 
结论 的 不 稳定 。 
简单 对 比 法 的 最 大 优点 就 是 试验 次 数 少 ， 例 如 ，6 因子 5 水 平 试验 ， 在 不 重复 时 ， 
只 用 5+ (6-1) x (5-1) = 二 5+5x4 二 25 次 试验 就 可 以 了 。 
考虑 兼顾 这 两 种 试验 方法 的 优点 ， 从 全 面试 验 的 点 中 选择 具有 典型 性 、 代 表 性 的 
点 ， 使 试验 点 在 试验 范围 内 分 布 得 很 均匀 ， 能 反映 全 面 情 况 。 但 我 们 又 希望 试验 点 尽 
量 地 少 ， 为 此 还 要 具体 考虑 一 些 问题 。 如 上 例 ， 对 应 于 A 有 Al、A2、A3 3 个 平面 ， 
对 应 于 B、C 也 各 有 3 个 平面 ， 共 9 个 平面 。 则 这 9 个 平面 上 的 试验 点 都 应 当 一 样 多 ， 
即 对 每 个 因子 的 每 个 水 平 都 要 同等 看 待 。 具 体 来 说 ,每 个 平面 上 都 有 3 行 、3 列 ， 要 求 
在 每 行 、 每 列 上 的 点 一 样 多 。 这 样 ， 作 出 如 图 5-8 所 示 的 倪 计 ， 试 验 扣 用 中 表示。 我 
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a 在 9 个 平面 中 每 个 平面 上 都 恰好 有 3 个 点 ， 而 每 个 平面 的 每 行 每 列 都 有 1 个 
点 ， 而 且 只 有 1 个 点 ， 总 共 9 个 点 。 这 样 的 
eee 试验 点 的 分 布 很 均匀 ， 试 验 次 数 
也 不 多 。 

当 因 子 数 和 水 平 数 都 不 太 大 时 ， 尚 可 通过 
作 图 的 办 法 来 选择 分 布 很 均匀 的 试验 点 。 但 是 
因子 数 和 水 平 数 多 了 ， 作 图 的 方法 就 不 行 了 。 
试验 工作 者 在 长 期 的 工作 中 总 结 出 一 套 办 法 ， 
创造 出 所 谓 的 正 交 表 。 技 照 正 交 表 来 安排 试 
验 ， 既 能 使 试验 点 分 布 得 很 均匀 ， 又 能 减少 试 
验 次 数 ， 而 且 计 算 分 析 简 单 ， 能 够 清晰 地 阐明 
试验 条 件 与 指标 之 间 的 关系 。 用 正 交 表 来 安排 
试验 及 分 析 试 验 结果 ， 这 种 方法 叫 正 交 试验 设 图 5-8” 正 交 试 验 设计 图 例 
计 法 。 

一 般 用 工 代表 正 交 表 ， 常 用 的 有 Le (2 )、Le (34)、Lie (4 )、Ls。 (4x24) 等 。 此 符 
号 各 数字 的 意义 如 下 。. 

例如 ; Ls (2 )， 其 中 ，7 为 此 表 列 的 数目 《〈 最 多 可 安排 的 因子 数 )，2 为 因子 的 水 平 
数 ，8 为 此 表 行 的 数目 〈 试 验 次 数 )。 

又 例如 ，Lis (2x37)， 有 7 列 是 3 水 平 的 ， 有 1 列 是 2 水 平 的 ，Lis (2x37) 的 数字 
告诉 我 们 ， 用 它 来 安排 试验 ， 做 18 个 试验 最 多 可 以 考察 1 个 2 水 平 因子 和 7 个 3 水 平 
因子 。 

在 行 数 为 mn 型 的 正 交 表 中 (m，n 是 正 整 数 )， 试 验 次 数 〈 行 数 ) 三 之 (每 列 水 平 
数 -1) +l， 如 Les (2 )，8 王 7x (2-1) +l， 利 用 上 述 关 系 式 可 以 从 所 要 考察 的 因子 水 平 数 
来 决定 最 低 的 试验 次 数 ， 进 而 选择 合适 的 正 交 表 。 比 如 要 考察 5 个 3 水 平 因子 及 一 个 2 
水 平 因子 ， 则 起 码 的 试验 次 数 为 5x (3-1) +1x (2-1) +1=12 (次 )， 这 就 是 说 ， 要 在 
行 数 不 小 于 12， 猎 有 2 水 平 列 又 有 3 水 平 列 的 正 交 表 中 选择 ，Lig (2x3“) 适合 。 正 交 表 
具有 两 条 性 质 ， 每 一 列 中 各 数字 出 现 的 次 数 都 一 样 多 ， 任 何 两 列 所 构成 的 各 有 序数 对 出 
现 的 次 数 都 一 样 多 。 所 以 称 之 为 正 交 表 。 

例如 ， 在 Le (3 ) 中 (如 表 5-7 所 示 )， 各 列 中 的 1、2、3 都 各 自 出 现 3 次 ; 任 
何 两 列 ， 例 如 第 3、4 列 ， 所 构成 的 有 序数 对 从 上 向 下 共有 9 种 ， 既 没有 重复 也 没有 
遗漏 。 其 他 任何 两 列 所 构成 的 有 序数 对 也 是 这 9 种 各 出 现 一 次 。 这 反映 了 试验 点 分 布 
的 均匀 性 。 
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家 57 L。 (34) 正 交 表 


b= 


=_ = | 


试验 方案 应 该 如 何 设计 呢 ? 安排 试验 时 ， 只 要 把 所 考察 的 每 一 个 因子 任意 地 对 应 于 
正 交 表 的 一 列 ( 一 个 因子 对 应 一 列 , 不 能 让 两 个 因子 对 应 同一 列 ), 然后 把 每 列 的 数字 “ 翻 
译 ” 成 所 对 应 因子 的 水 平 。 这 样 ， 每 一 行 的 各 水 平 组 合 就 构成 了 一 个 试验 条 件 〈 不 考虑 
没 安排 因子 的 列 )。 对 于 上 例 ， 因 子 A、B、C 都 是 3 水 平 的 ， 试 验 次 数 要 不 少 于 3x 
(3-1) +1= 二 7 (次 )， 可 考虑 选用 L%。 (3 )。 因 子 A、B、C 可 任意 地 对 应 于 L。(3*) 的 某 
三 列 ， 例 如 A、B、C 分 别 放 在 1、2、3 列 ， 然 后 试验 技 行进 行 ， 顺 序 不 限 ， 每 一 行 中 各 
因素 的 水 平 组 合 就 是 每 一 次 的 试验 条 件 ， 从 上 到 下 就 是 这 个 正 交 试验 的 方案 ， 如 表 5-8 
所 示 。 这 个 试验 方案 的 几何 解释 正好 是 正 交 试验 设计 图 例 。 


中 58 试验 方案 


加 厦 量 (%) 


Dm 3 
Ly A 
一 
-= 
= 
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3 个 3 水平 的 因子 ,做 全 面试 验 需 要 3=27 次 试验 , 现 用 Le (3”) 来 设计 试验 方案 ， 
只 要 做 9 次 ， 工 作 量 减少 了 2/3， 而 在 一 定 意 义 上 代表 了 27 次 试验 。 
2. 正 交 试验 测试 用 例 设计 步骤 
利用 正 交 试 验 设计 测试 用 例 的 步骤 如 下 。 
e 提取 功能 说 明 ， 构 造 因 子 “ 一 一 ”状态 表 。 把 影响 实验 指标 的 条 件 称 为 因子 ， 
而 影响 实验 因子 的 条 件 叫 做 因子 的 状态 。 利 用 正 交 试验 设计 方法 来 设计 测试 用 
例 时 ， 首 先 要 根据 被 测试 软件 的 规格 说 明 书 找 出 影响 其 功能 实现 的 操作 对 象 和 
外 部 因素 ， 把 它们 当 作 因子 ， 而 把 各 个 因子 的 取 值 当做 状态 。 对 软件 需求 规格 
说 明 中 的 功能 要 求 进行 划分 ， 把 整体 的 、 概 要 性 的 功能 要 求 进行 层 层 分 解 与 展 
开 ， 分 解 成 具体 的 、 有 相对 独立 性 的 基本 的 功能 要 求 。 这 样 就 可 以 把 被 测试 软 
件 中 所 有 的 因子 都 确定 下 来 ， 并 为 确定 因子 的 权 值 提供 参考 的 依据 。 确 定 因 子 
与 状态 是 设计 测试 用 例 的 关键 。 因 此 ， 要 求 尽 可 能 全 面 地 、 正 确 地 确定 取 值 ， 
以 确保 测试 用 例 的 设计 做 到 完整 与 有 效 。 
®; 加 权 筛 选 ， 生 成 因素 分 析 表 。 对 因子 与 状态 的 选择 可 按 其 重要 程度 分 别 加 权 。 
可 根据 各 个 因子 及 状态 作用 的 大 小 、 出 现 频率 的 大 小 以 及 测试 的 需要 ， 确 定 权 
值 的 大 小 。 
。 利用 正 交 表 构 造 测试 数据 集 ， 正 交 表 的 推导 依据 Galois 理论 。 
利用 正 交 试验 设计 方法 设计 测试 用 例 ， 与 使 用 等 价 类 划分 、 边 界 值 分 析 、 因 果 图 等 
方法 相 比 ， 有 以 下 优点 :节省 测试 工作 工时 ， 可 控制 生成 的 测试 用 例 的 数量 ， 测 试用 例 
具有 一 定 的 绪 盖 率 。 
正 交 试验 法 在 软件 测试 中 是 一 种 有 效 的 方法 ， 例 如 在 平台 参数 配置 方面 ， 我 们 要 选 
择 哪 种 组 合 方式 是 最 好 的 ， 每 个 参数 可 能 就 是 一 个 因子 ， 参 数 的 不 同 取 值 就 是 水 平 ， 这 
样 我 们 可 以 采用 正 交 试验 法 设计 出 最 少 的 测试 组 合 ， 达 到 有 效 的 测试 目的 。 


5.2.8 ”功能 图 法 


一 个 程序 的 功能 说 明 通 常 由 动态 说 明和 孽 态 说明 组 成 。 动 态 说 明 描述 了 输入 数据 的 
次 序 或 转移 的 次 序 。 和 静态 说 明 描 述 了 输入 条 件 与 输出 条 件 之 间 的 对 应 关系 。 对 于 较 复 杂 
的 程序 ， 由 于 存在 大 和 量 的 组 合 情 况 ， 因 此 ， 仅 用 静态 说 明 组 成 的 规格 说 明 对 于 测试 来 说 
往往 是 不 够 的 ， 必 须 用 动态 说 明 来 补充 功能 说 明 。 

1， 功能 图 设计 方法 

功能 图 方法 是 用 功能 图 形象 地 表示 程序 的 功能 说 明 ， 并 机 械 地 生成 功能 图 的 测试 用 
例 。 功 能 图 模型 由 状态 迁移 图 和 逻辑 功能 模型 构成 。 

。 ”状态 迁移 图 用 于 表示 输入 数据 序列 以 及 相应 的 输出 数据 。 在 状态 迁移 图 中 ， 由 
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物 入 数据 和 当前 状态 决定 输出 数据 和 后 续 状 态 。 
。 逻辑 功能 模型 用 于 表示 在 状态 中 输入 条 件 和 输出 条 件 之 间 的 对 应 关系 。 逻 辑 功 
能 模型 只 适合 于 描述 豆 态 说 明 ， 输 出 数据 仅 由 输入 数据 决定 。 测 试用 例 则 是 由 
测试 中 经 过 的 一 系列 状态 和 在 每 个 状态 中 必须 依靠 输入 /输出 数据 满足 的 一 对 
条 件 组 成 。 
功能 图 方法 实际 上 是 一 种 黑 盒 、 白 盒 混 合用 例 设计 方法 。 
功能 图 方法 中 要 用 到 逻辑 贸 盖 和 路 径 测 试 的 概念 和 方法 ， 属 白 盒 测 试 方法 中 的 内 
容 。 逻 辑 禄 盖 是 以 程序 内 部 的 逻辑 结构 为 基础 的 测试 用 例 设计 方法 ， 该 方法 要 求 测试 人 
员 对 程序 的 逻辑 结构 有 清楚 的 了 解 。 由 于 杀 况 测试 的 目标 不 同 ， 逻 辑 科 亲 可 分 为 ， 语 句 
徐 盖 、 判 定 科 盖 、 判 定 -条 件 报 盖 ， 条 件 组 合 匀 施 及 路 径 补 盖 。 下 面 我 们 指 的 逻辑 往 盖 和 
路 径 是 功能 或 系统 水 平 上 的 ， 以 区 别 于 和 白 盒 测试 中 的 程序 内 部 的 ， 如 图 5-9 及 表 5-9 所 示 。 


磁卡 
信息 : 
(a ) true Ml: 输入 口令 


M3:， 再 次 输入 金额 


M4: 停止 处 理 
| M5: 插入 磁卡 


Ley 


M 


金额 > 余额 金额 < 余额 
图 5-9 ”功能 图 
家 5.9 判 定案 
[3 | YY | nw TT 
"I | Nn | vv | 
wm | 一 | | 
wm | | | 
pv | | 
WE | | 一 
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_ 续 玫 
1 = 

状态 | | 一 | | 
| 


2。 功能 图 法 生成 测试 用 例 
功能 图 由 状态 迁移 图 和 布尔 消 数 组 成 。 状 态 迁 移 图 用 状态 和 迁移 来 描述 一 个 状态 ， 
指出 数据 输入 的 位 置 (或 时 间 ), 而 迁移 则 指明 状态 的 改变 , 同时 要 依靠 判定 表 和 因果 图 
表示 的 逻辑 功能 。 
采用 什么 样 的 方法 生成 测试 用 例 ? 从 功能 图 生成 测试 用 例 ， 得 到 的 测试 用 例 数 是 可 
接受 的 。 问 题 的 关键 是 如 何 从 状态 迁移 图 中 选取 测试 用 例 。 老 用 节点 代替 状态 ， 用 弧 线 
代替 迁移 ， 状 态 迁 移 图 就 可 转化 成 一 个 程序 的 控制 流程 图 形式 。 问 题 就 转化 为 程序 的 路 
径 测 试问 题 〈 白 盒 测 试 范畴 概念 ) 了。 
测试 用 例 生成 规则 : 为 了 把 状态 迁移 〈 测 试 路 径 ) 的 测试 用 例 与 逻辑 模型 的 测试 用 
例 组 合 起 来 ， 从 功能 图 生成 实用 的 测试 用 例 ， 需 定义 下 面 的 规则 。 一 个 结构 化 的 状态 迁 
移 中 ， 定 义 3 种 形式 的 循环 : 顺序 、 选 择 和 重复 。 但 分 辨 一 个 状态 迁移 中 的 所 有 循环 是 
有 困难 的 。 
从 功能 图 生成 测试 用 例 的 过 程 如 下 。 
。 生成 局 部 测试 用 例 ， 在 每 个 状态 中 ， 从 因果 图 生成 局 部 测试 用 例 。 局 部 测试 库 
由 原因 值 〈 输 入 数据 ) 组 合 与 对 应 的 结果 值 〈 输 出 数据 或 状态 ) 构成 。 
。 测试 路 径 生 成 : 利用 上 面 的 规则 生成 从 初始 状态 到 最 后 状态 的 测试 路 径 。 
。 测试 用 例 合成 : 合成 测试 路 径 与 功能 图 中 每 个 状态 的 局 部 测试 用 例 。 结 果 是 
视 状 态 到 最 后 状态 的 一 个 状态 序列 ， 以 及 每 个 状态 中 输入 数据 与 对 应 输出 数 
据 组 合 。 
。 测试 用 例 的 合成 算法 ， 采用 条 件 构造 树 。 


5.2.9 ”场景 法 


现在 的 软件 几乎 都 是 用 事件 触发 来 控制 流程 的 ， 事 件 触 发 时 的 情景 便 形 成 了 场景 ， 
而 同一 事件 不 同 的 触发 顺序 和 处 理 结 果 就 形成 事件 流 。 这 种 在 软件 设计 方面 的 思想 也 可 
引入 到 软件 测试 中 ， 可 以 比较 生动 地 描绘 出 事件 触发 时 的 情景 ， 有 利于 测试 设计 者 设计 
测试 用 例 ， 同 时 使 测试 用 例 更 容易 理解 和 执行 。 

提出 这 种 测试 思想 的 是 Rational 公司 ,并 在 RUP2000 中 文 版 中 有 详尽 的 解释 和 应 用 。 

用 例 场景 用 来 描述 流 经 用 例 的 路 径 ， 从 用 例 开始 到 结束 遍历 这 条 路 径 上 所 有 基本 流 
和 备 选 流 。 
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1. 基本 流 和 备 选 流 

如 图 5-10 所 示 ， 图 中 经 过 用 例 的 每 条 路 径 都 用 基本 流 和 备 选 流 来 表示 ,， 直 黑 线 表 示 
基本 流 ， 是 经 过 用 例 的 最 简单 的 路 径 。 备 选 流 用 不 同 的 彩色 表示 ， 一 个 备 选 流 可 能 从 基 
本 流 开 始 ， 在 某 个 特定 条 件 下 执行 ， 然 后 重新 加 入 基本 流 中 〈 如 备 选 流 1 和 3); 也 可 能 
起 源 于 另 一 个 备 选 流 〈 如 备 选 流 2)， 或 者 终止 用 例 而 不 再 重新 加 入 到 某 个 流 (如 备 选 流 
2 和 4)。 
按照 如 图 5-10 中 所 示 的 每 个 经 过 用 例 的 路 径 ， 可 以 确定 以 下 不 同 的 用 例 场 其 。 


场景 1: 
场 2: 
场 3: 
场景 4; 
场景 5: 
场景 6: 
场景 7: 
场景 8: 


基本 流 ; 
基本 流 、 
基本 流 、 
基本 流 、 
基本 流 、 
基本 流 、 
基本 流 、 
基本 流 、 


备 选 流 1; 

备 选 流 1、 备 选 流 2; 

备 选 流 3; 

备 选 流 3、 备 选 流 1; 

备 选 流 3、 备 选 流 1、 备 选 流 2; 
备 选 流 4; 

备 选 流 3、 备 选 流 4。 


注 ; 为 方便 起 见 ， 场 景 5、6 和 8 只 考虑 了 备 选 流 3 循环 执行 一 次 的 情况 。 
需要 说 明 的 是 ， 为 了 能 清晰 地 说 明 场 景 ， 我 们 所 举 的 例子 都 非常 简单 ， 在 实际 应 用 


中 ， 测 试用 例 很 少 如 此 简单 。 
2. ATM 例子 
(1) 例子 描述 
如 图 5-11 所 示 是 ATM 例子 的 流程 示意 图 。 
开始 用 例 
LE 提 蒜 
备 选 流 3 aa 
乔 户 Ee 
蝇 i 
备 选 流 4 ] 备 选 流 2 Ce ee 银行 系统 
结束 用 例 结束 用 例 aa 
结束 用 例 ATM 操作 员 系统 启动 


图 5-10 基本 流 和 备 选 流 图 5-11 ATM 流程 示意 图 
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如 表 5-10 所 示 ， 包 含 了 如 图 5-11 中 所 示 提 款 用 例 的 基本 流 和 某 些 备用 流 。 


家 S-10 用 例 流 


本 用 例 的 开始 是 ATM 处 于 准备 就 绪 状态 
准备 提 蒜 ;客户 将 银行 卡 插 入 ATM 机 的 读 卡 机 
验证 银行 卡 ，ATM 机 从 银行 卡 的 磁 条 中 读 取 账户 代码 ， 
并 检查 它 是 否 属于 可 以 接收 的 银行 卡 
输入 PIN:， ATM 要 求 客户 输入 PIN 码 (4 位 ) 验证 账户 . 
代码 和 PIN， 验 证 账户 代码 和 PIN， 以 确定 该 账户 是 否 有 
效 以 及 所 输入 的 PIN 对 该 账户 来 说 是 否 正确 。 对 于 此 事 
件 流 ， 账 户 是 有 效 的， 而 且 PIN 对 此 账户 来 说 正确 无 误 
ATM 选项 : ATM 显示 在 本 机 上 可 用 的 各 种 选项 。 在 此 事 
件 流 中 ， 银 行 客户 通常 选择 “ 提 款 ” 
基本 流 输入 金额 ， 要 从 ATM 中 提取 的 金额 。 对 于 此 事件 流 ， 客 
户 需 选择 预 设 的 金额 (10 元 、20 元 、50 元 或 100 元 )。 
授权 ATM 通过 将 卡 ID、PIN、 金 额 以 及 账户 信息 作为 一 
笔 交 易 发 送 给 银行 系统 来 启动 验证 过 程 。 对 于 此 事件 流 ， 
银行 系统 处 于 联机 状态 ,而且 对 授权 请 求 给 予 答复 ,批准 
完成 提 款 过 程 ， 并 且 据 此 更 新 账户 余额 
出 钞 ， 提供 现金 
返回 银行 卡 ， 银 行 卡 被 返还 
收据 ， 打 印 收据 并 提供 给 客户 。ATM 还 相应 地 更 新 内 部 
记录 
用 例 结束 时 ATM 又 回 到 准备 就 绪 状 态 
在 基本 流 步骤 2 中 验证 银行 卡 , 如 果 卡 是 无 效 的 , 则 卡 被 
退回 ， 同 时 会 通知 相关 消息 
在 基本 流 步骤 $ 中 ATM 选项 ,选项 将 无 法 使 用 .如 果 ATM 
内 没有 现金 ， 则 “ 提 款 ”选项 不 可 用 
在 基本 流 步骤 6 中 输入 金额 ， 如 果 ATM 机 内 金额 少 于 请 
， 备 选 流 3 一 一 ATM 内 现金 不 足 求 提取 的 金额 ， 则 将 显示 一 则 适当 的 消息 ， 并 且 在 步骤 6 
输入 金额 处 重新 加 入 基本 流 
在 基本 流 步骤 4 中 验证 账户 和 PIN, 客户 有 三 次 机 会 输入 
输入 有 误 ，ATM 将 显示 适当 的 消息 ， 如 
计生 | 果 还 存在 输入 机 会 ， 则 此 事件 流 在 步骤 3 输入 PIN 处 重 
备 选 流 4 PIN 有 误 新 加 入 基本 流 。 如 果 最 后 一 次 尝试 输入 的 PIN 码 仍然 错 
误 ， 则 该 卡 将 被 AFM 机 保留 ， 同 时 ATM 返回 到 准备 就 
绪 状 态 ， 本 用 例 终止 
在 基本 流 步 骤 4 中 验证 账户 和 PIN, 如 果 银 行 系统 返回 的 
代码 表明 找 不 到 该 账户 或 禁止 从 该 账户 中 提 款 ， 则 ATM 
RA 9 返回 银行 卡 处 重新 加 入 基 
流 


备 选 流 1 一 一 银行 卡 无 效 


备 选 流 2 一 一 ATM 内 没有 现金 


备 选 流 $ 一 一 账户 不 存在 
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备 选 流 6 一 一 账面 金额 不 足 


备 选 流 7 一 一 达到 每 日 最 大 的 提 识 金额 


备 选 流 xz 一 一 记录 错误 


备 选 流 y 一 一 退出 


备 选 流 z 一 一 “ 诱 起 ” 
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续 表 
在 基本 流 步骤 7 授权 中 , 银行 系统 返回 代码 表明 账户 余额 
少 于 在 基本 流 步 骤 6 输入 金额 内 输入 的 金额 ， 则 ATM 显 
示 适 当 的 消息 并 且 在 步骤 6 输入 金额 处 重新 加 入 菇 本 流 


| 在 基本 流 步 骤 7 授权 中 , 银行 系统 返回 的 代码 表明 包括 本 
提 款 请 求 在 内 ， 客 户 已 经 或 将 超过 在 24 小 时 内 允许 提取 


的 最 多 金额 ， 则 ATM 显示 适当 的 消息 并 在 步骤 6 输入 金 
额 上 重新 加 入 基本 流 

如 果 在 基本 流 步骤 10 收据 中 ， 记 录 无 法 更 新 ， 则 ATM 
进入 “安全 模式 ”， 在 此 模式 下 所 有 功能 都 将 暂停 使 用 。 
同时 向 银行 系统 发 送 一 条 适当 的 警报 信息 表明 ATM 已 经 


| 暂停 工作 z 
| 客户 可 随时 决定 终止 交易 《退出 )。 交易 终止， 银行 卡 随 


之 退出 


| ATM 包含 大 量 的 传感器 ， 用 以 监控 各 种 功能 ， 如 电源 检 


测 器 、 不 同 的 门 和 出 入 口 处 的 测 压 器 以 及 动作 检测 器 等 。 
在 任 一 时 刻 , 如 果 某 个 传感器 被 激活 , 则 营 报 信号 将 发 送 
给 警方 而 且 ATM 进入 “安全 模式 "， 在 此 模式 下 所 有 功 
能 都 暂停 使 用 ， 直 到 采取 适当 的 重启 /重新 初始 化 的 措施 


第 二 次 迭代 中 ， 根 据 迭 代 计 划 ， 我 们 需要 核实 提 款 用 例 已 经 正确 地 实施 。 此 时 尚未 实施 整个 用 例 ， 


基本 流 一 一 提取 预 设 人 金额 (10 元 、20 元 、50 元 、100 元 ) 


备 选 流 2 一 一 ATM 内 没有 现金 

备 选 流 3 一 一 ATM 内 现金 不 足 

备 选 流 4 一 一 PIN 有 误 

备 选 流 $ 一 一 账户 不 存在 / 感 户 类 型 有 误 
备 选 流 6 一 一 账面 金额 不 足 


(2) 场景 设计 
如 表 5-11 所 示 是 生成 的 场景 。 


家 5-11 场景 设计 


场景 描述 
场景 1 一 一 成 功 的 提 蒜 
场景 2 一 一 ATM 内 没有 现金 
场景 3 一 一 ATM 内 现金 不 足 
场景 4 一 一 PIN 有 误 (还 有 输入 机 会 ) 
场景 5 一 一 PIN 有 误 〔 不 再 有 输入 机 会 ) 
场景 6 一 一 账户 不 存在 /账户 类 型 有 误 
场景 7 一 一 账户 余额 不 足 


”基本 流 | 备 选 流 
基本 流 | 

备 选 流 2 
| 丰 本 流 备 选 流 3 
备 选 流 4 
备 选 流 4 
基本 流 备 选 流 

天 本 流 备 选 流 


注 : 为 方便 起 见 ， 备 选 流 3 和 6 (场景 3 和 7) 内 的 循环 以 及 循环 组 合 未 纳入 家 中 。 
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(3) 用 例 设计 

对 于 这 7 个 场景 中 的 每 一 个 场景 都 需要 确定 测试 用 例 ， _ 般 采用 矩阵 或 决策 表 来 确 
定 和 管理 测试 用 例 。 如 表 5-12 所 示 是 一 种 通用 格式 ， 其 中 行 代表 各 个 测试 用 例 ， 列 代表 
测试 用 例 的 信息 。 本 例 中 的 测试 用 例 包 含 测试 用 例 也、 场景 /条 件 、 测 试用 例 中 涉及 的 
所 有 数据 元 素 和 预期 结果 等 项 目 。 首 先 确 定 执行 用 例 场景 所 需 的 数据 元 素 ， 然 后 构建 矩 
阵 ， 最 后 要 确定 包含 执行 场景 所 需 的 适当 条 件 的 测试 用 例 。 在 下 面 的 矩阵 中 ，V 表示 这 
个 条 件 必 须 是 有 效 的 才 可 执行 基本 流 ，1 表示 这 种 条 件 下 将 激活 所 需 备 选 流 ，n/a 表示 
这 个 条 件 不 适用 于 测试 用 例 。 


表 5-12 测试 用 例 表 


TC (测试 用 输入 (或 选 | 账面 | ATM 内 
条 这 用 |。 声 果 条件 。 | PIN | 账号 | 入 本 让 | 帮 | 名 世 罗 |。 天 期 结果 
了 | ， 


rr ey 

me 没有 现金 定 河 有 其 呵 古 和 用 ， 用 例 结束 

敬告 消息 ,返回 

| 
输入 金额 

ns 

CW4 误 ( 还 有 不 止 一 次 V 基本 流 步骤 4， 
输入 机 会 ) 输入 PIN 

场景 4 一 一 PIN 有 警告 消息 ,返回 

"| | 
机 会 》 输入 PIN 


| | | “| | | 

在 上 面 的 矩阵 中 ， 六 个 测试 用 例 执行 了 四 个 场景 。 对 于 基本 流 ， 上 述 测试 用 例 CW1 
被 称 为 正面 测试 用 例 。 它 一 直 沿 着 用 例 的 基本 流 路 径 执行 ， 未 发 生 任何 偏差 。 基 本 流 的 
全 面 测试 必须 包括 负面 测试 用 例 ， 以 确保 只 有 在 符合 条 件 的 情况 下 才 执 行 基本 流 。 这 些 
负面 测试 用 例 由 CW2~CW6 表示 。 虽 然 CW2~CW6 相对 于 基本 流 而 言 都 是 负面 测试 用 
例 , 但 它们 相对 于 备 选 流 2 一 4 而 言 是 正面 测试 用 例 。 而 且 对 于 这 些 备 选 流 中 的 每 一 个 而 
言 ， 至 少 存在 一 个 负面 测试 用 例 ， 就 是 CW1- 基 本 流 。 

每 个 场景 只 有 一 个 正面 测试 用 例 和 负面 测试 用 例 是 不 充分 的 ， 场 景 4 正 是 这 样 的 一 
个 示例 。 要 全 面 地 测试 场景 4-PIN 有 误 ， 至 少 需 要 三 个 正面 测试 用 例 ， 以 激活 场景 4: 

Q@ 输入 了 错误 的 PIN， 但 仍 存在 输入 机 会 ， 此 备 选 流 重新 加 入 基本 流 中 的 步骤 
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3- 输 入 PIN。 

@ 输入 了 错误 的 PIN, 而 且 不 再 有 输入 机 会 , 则 此 备 选 流 将 保留 银行 卡 并 终止 用 例 。 

圾 后 一 次 输入 时 输入 了 “正确 ”的 PIN。 备 选 流 在 步骤 5- 输 入 金额 处 重新 加 入 
基本 流 。 

注意 ， 在 上 面 的 矩阵 中 ， 无 需 为 条 件 输入 任何 实际 的 值 。 以 这 种 方式 创建 测试 用 例 
和 矩阵 的 一 个 优点 在 于 容易 看 到 测试 的 是 什么 条 件 。 由 于 只 需要 查看 V 和 I, 这 种 方式 还 
易于 判断 是 否 已 经 确定 了 充足 的 测试 用 例 。 从 表 5-12 中 可 发 现存 在 几 个 无 效 的 条 件 1， 
这 表明 测试 用 例 还 不 完全 ， 如 场景 6- 不 存在 的 账户 /账户 类 型 有 误 和 场景 7- 账 户 余额 不 
足 就 缺少 测试 用 例 。 

. (4) 数据 设计 z 

一 旦 确定 了 所 有 的 测试 用 例 ， 则 应 对 这 些 用 例 进行 复审 和 验证 以 确保 其 准确 且 适 

度 ， 并 取消 多 余 或 寺 效 的 测试 用 例 。 


吕 5-13 测试 数据 甫 
z 账面 [ATM 内 
TC (测试 用 输入 的 金额 (或 
例 ) ID 号 | 沁 妆 名 件 选择 的 金额》 | 六 轨 sy 入 浊 针 是 
1 场景 1 一 一 成 功 的 提 款 。 账 
人 4987 | 809-498 ， 50.00 500.00 | 户 余额 被 更 新 
| 为 450.00 
吕 大 一 | 
， 用 例 结束 
| 有 现金 
CW3 ATM 内 现 | 4987 | 809-498 100.00 500.00 | 70.00 | 基本 流 步 又 6 输 
金 不 足 入 金额 


| 警告 消息 ， 返 回 
2000 | 基本 流 步 骤 4， 
输入 PIN 


te 警告 消息 ， 返 回 
CW5 os 4978 Mi 500.00 | 2000 | 基本 流 步 枝 4， 

(还 有 一 次 | 输入 PIN 

和 输入 机 会 ) 

场 最 4 一 一 

PIN 有 误 ei 卡巴 
CW6 (不 再 有 输 | 4978 | 809-498 500.00 | 2 000 ， 用 例 结束 

入 机 会 ) 
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测试 用 例 一 经 认可 ， 就 可 以 确定 实际 数据 值 〈 在 测试 用 例 实施 矩阵 中 〉 并 且 设 定 测 
试 数据 。 

以 上 测试 用 例 只 是 在 本 次 迭代 中 需要 用 来 验证 提 款 用 例 的 一 部 分 测试 用 例 。 需 要 的 
其 他 测试 用 例 包括 以 下 内 容 。 

场景 6 一 一 账户 不 存在 /账户 类 型 有 误 : 未 找到 账户 或 账户 不 可 用 ; 

场景 6 一 一 账户 不 存在 /账户 类 型 有 误 : 禁止 从 该 账户 中 提 蔷 ; 

场景 7 一 一 账户 余额 不 足 ， 请 求 的 金额 超出 账面 金额 。 

在 将 来 的 兴 代 中 ， 当 实施 其 他 事件 流 时 ， 在 下 列 情况 下 将 需要 测试 用 例 : 

Q 无效 卡 〈 所 持 卡 为 挂失 卡 、 被 盗 卡 、 非 承兑 银行 发 卡 、 磁 条 损坏 等 ); 

@ 无 法 读 卡 〈 读 卡 机 堵塞 、 脱 机 或 出 现 故障 ); 

@ 账户 已 消 户 、 冻 结 或 由 于 其 他 方面 原因 而 无 法 使 用 ; 

@ ATM 内 的 现金 不 足 或 不 能 提供 所 请 求 的 金额 (与 CW3 不 同 ,在 CW3 中 只 是 一 
种 币值 不 足 ， 而 不 是 所 有 币值 都 不 足 ); 

@ 无 法 联系 银行 系统 以 获得 认可 ; 

@ 银行 网 络 离线 或 交易 过 程 中 断 电 。 

结论 ， 所 有 从 事 软件 测试 和 即将 从 事 软 件 测 试 的 人 大 都 是 从 黑 盒 测试 做 起 的 ， 每 种 
类 型 的 软件 有 各 自 的 特点 ， 每 种 测试 用 例 设 计 的 方法 也 有 各 目的 特点 ， 针 对 不 同 软件 如 
何 利 用 这 些 黑 傅 方法 是 非常 重要 的 ， 它 能 极 大 地 提高 测试 效率 和 测试 入 盖 度 ， 认 真 掌握 
这 些 方法 的 原理 ， 有 效 提高 测试 水 平 ， 积 累 更 多 的 测试 经 验 ， 这 是 测试 人 员 最 宝贵 的 
财富 。 


5.2.10 ”测试 方法 选择 的 综合 策略 


测试 用 例 的 设计 方法 不 是 单独 存在 的 ， 具 体 到 每 个 测试 项 目 里 都 会 用 到 多 种 方法 ， 
每 种 类 型 的 软件 有 各 自 的 特点 ， 每 种 测试 用 例 设 计 的 方法 也 有 各 自 的 特点 ， 针 对 不 同 软 
件 如 何 利用 这 些 黑 僵 方法 是 非常 重要 的 ， 在 实际 测试 中 ， 往 往 是 综合 使 用 各 种 方法 才能 
有 效 地 提高 测试 效率 和 测试 习 盖 度 ， 这 就 圭 要 认真 掌握 这 些 方 法 的 原理 ， 积 累 更 多 的 测 
试 经 验 ， 以 有 效 地 提高 测试 水 平 。 

以 下 是 各 种 测试 方法 选择 的 综合 策略 ， 可 供 读 者 在 实际 应 用 过 程 中 参考 。 

@ 首先 进行 等 价 类 划分 ， 包 括 输入 条 件 和 输出 条 件 的 等 价 划分 ， 将 无 限 测试 变 成 
有 限 测 试 ， 这 是 减少 工作 量 和 提高 测试 效率 最 有 效 的 方法 。 

@ 在 任何 情况 下 都 必须 使 用 边界 值 分 析 方 法 。 经 验 表 明 ， 用 这 种 方法 设计 出 的 测 
试用 例 发 现 程序 错误 的 能 力 最 强 。 
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@ 可 以 用 错误 推测 法 追加 一 些 测 试用 例 ， 这 需要 依靠 测试 工程 师 的 智 要 和 经 验 。 

@ 对 照 程序 逻辑 ， 检 查 已 设计 出 的 测试 用 例 的 逻辑 炸 盖 程度 。 如 果 没 有 达到 要 求 
的 袖 盖 标准 ， 应 当 再 补充 足够 的 测试 用 例 。 

@ 如 果 程 序 的 功能 说 明 中 含有 输入 条 件 的 组 合 情 况 ， 则 一 开始 就 可 选用 因果 图 法 
和 判定 表 驱 动 法 。 

@ 对 于 参数 配置 类 的 软件 ， 要 用 正 交 试验 法 选择 较 少 的 组 合 方式 达到 最 佳 效 果 。 

QD 功能 图 法 也 是 很 好 的 测试 用 例 设计 方法 ， 我 们 可 以 通过 不 同时 期 条 件 的 有 效 性 
设计 不 同 的 测试 数据 。 

对 于 业务 流 清晰 的 系统 ， 可 以 利用 场景 法 贯穿 整个 测试 案例 过 程 ， 在 案例 中 综 
合 使 用 各 种 测试 方法 。 z 


$5.3 ”测试 用 例 的 编写 


5.3.1 ”测试 用 例 计划 的 目的 


仔细 计划 测试 用 例 ， 是 达成 测试 目标 的 必由之路 。 这 样 做 的 重要 性 体现 如 下 。 

即使 在 小 型 软件 项 目 上 ， 也 可 能 有 数 千 个 测试 用 例 。 建 立 用 例 可 能 需要 一 些 测 试 员 
经 过 几 个 月 甚至 几 年 的 时 间 。 正 确 的 计划 会 组 织 好 用 例 ， 以 便 全 体 测 试 员 和 其 他 项 目 小 
组 成 员 有 将 地 审查 和 使 用 。 

我 们 已 经 知道 ， 在 项 目 期 间 有 必要 多 次 执行 同样 的 测试 ， 以 寻找 新 的 软件 缺陷 ， 保 
证 老 的 软件 缺陷 得 以 修复 。 假如 没有 正确 的 计划 ， 人 
原 有 的 测试 是 否 得 到 重复 。 

有 时 我 们 需要 回答 整个 项 目 期 间 的 重要 问题 。 例 如 ， 计 划 执 行 多 少 个 测试 用 例 ， 在 
软件 最 终 版 本 上 执行 多 少 个 测试 用 例 , 多 少 个 通过 ， 多 少 个 失败 ; 有 忽略 的 测试 用 例 吗 ， 
等 等 。 如 果 没 有 而 试用 例 计 划 ， 就 不 能 回 兴 这些 问题 。 

在 少数 商 风险 行业 中 ， 软 件 测 试 小 组 必须 证 明确 实 执行 了 计划 执行 的 测试 。 发 布 忽 
略 某 些 测试 用 例 的 软件 是 危险 的 。 正 确 的 测试 用 例 计划 和 跟踪 提供 了 一 种 证 实测 试 的 
手段 。 


5.3.2 ”测试 设计 说 明 
大 家 知道 ， 项 目 整 体 测 试 计划 的 级 别 非 第 陋 。 它 虽然 把 软件 拆 分 为 具体 特性 和 可 测 


试 项 ， 并 将 其 分 派 到 每 个 测试 员 头 上 ， 但 是 它 并 没有 指明 如 何 对 这 些 特性 进行 测试 ， 可 
能 仅仅 对 使 用 自动 化 测试 还 是 黑 盒 测试 或 者 白 盒 测 试 有 一 些 提示 ， 但 是 并 不 会 涉及 如 何 
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使 用 以 及 在 哪里 使 用 这 些 工具 。 

为 了 更 好 地 进行 测试 ， 我 们 需要 为 单个 软件 特性 定义 具体 的 测试 方法 ， 这 就 是 测试 
设计 说 明 。ANSIUIEEE 829 中 对 测试 设计 说 明 的 解释 是 ;测试 设计 说 明 就 是 在 测试 计划 
中 提炼 测试 方法 ， 要 明确 指出 设计 包含 的 特性 以 及 相关 的 测试 用 例 和 测试 程序 ， 并 指定 
判断 特性 通过 /失败 的 规则 。 

测试 设计 说 明 的 目的 是 组 织 和 描述 针对 具体 特性 需要 进行 的 测试 。 然而 ， 它 并 不 给 
出 具体 的 测试 用 例 或 者 执行 测试 的 步骤 。 以 下 内 容 来 自 于 ANSUIEEE 829 标准 ， 应 该 作 
为 测试 设计 说 明 的 部 分 内 容 。 


3.3.3 


标识 符 : 用 于 引用 和 定位 测试 设计 说 明 的 惟一 标识 符 。 该 说 明 还 应 该 引用 整个 
测试 计划 ， 还 应 该 包含 任何 其 他 计划 或 者 说 明 的 引用 。 

要 测试 的 特性 ， 对 测试 设计 说 明 所 包含 的 软件 特性 的 描述 。 例 如 “计算 器 程序 
的 加 法 功能 ”、“ 写 字 板 程序 中 的 字体 大 小 选择 和 显示 ”、“QuickTime 软件 的 视 
频 卡 配置 测试 ”。 该 部 分 还 将 明确 指出 要 间接 测试 的 特性 ， 它 通常 作为 主 特性 的 
辅助 特性 。 例 如 ， 文 件 打 人 
出 ， 但 是 在 测试 读 写 功能 的 过 程 中 要 间接 测试 。 

方法 ， 描 ” 述 测试 的 通用 方法 。 如 果 方 法 在 测试 计划 中 列 出 ， 就 应 该 在 此 详细 描 
述 要 使 用 的 技术 ， 并 给 出 如 何 验证 测试 结果 的 方法 。 例如 ， 我 们 这 样 描述 一 种 
方法 ， 开 发 一 种 测试 工具 ， 顺 序 读 写 不 同 大 小 的 数据 文件 ， 数 据 文件 的 数目 和 
大 小 及 包含 的 内 容 由 程序 员 提 供 的 示例 来 确定 。 用 文件 比较 工具 比较 输出 的 文 
件 和 源 文件 ， 如 果 相 同 ， 则 认为 通过 ;， 如 果 不 同 ， 则 认为 失败 。 
测试 用 例 信 息 : 用 于 描述 所 引用 的 测试 用 例 的 相关 信息 。 应 该 列 出 所 选 的 等 价 
区 间 , 给 出 测试 用 例 的 引用 信息 以 及 用 于 执行 测试 用 例 的 测试 程序 说 明 。 例 如 : 
“检查 最 大 值 ” 测 试用 例 ID#15326”、“ 检 查 最 小 值 ”测试 用 例 ID#15327”, 在 这 
部 分 不 定义 实际 测试 用 例 。 

通过 /失败 规则 : 描述 用 什么 规则 来 判定 某 项 特性 的 测试 结果 是 通过 还 是 失败 。 
这 种 描述 有 可 能 非常 简单 和 明确 ， 例 如 “通过 是 指 当 执行 全 部 测试 用 例 时 没有 
发 现 软件 缺陷 ”。 也 有 可 能 不 是 非常 明确 ,例如 “失败 是 指 10% 以 上 的 测试 用 例 
没有 通过 ”。 


测试 用 例 说 明 


如 何 记录 和 记载 创建 的 测试 用 例 ? 如 果 你 已 经 开始 进行 一 些 软件 测试 了 ， 就 可 能 采 
用 过 一 些 用 例 描述 格式 。 本 节 讲 解 编写 测试 用 例 的 有 关内 容 ， 指 出 将 要 考虑 的 重点 。 
. ANSLIIEEE 829 标准 称 测试 用 例 说 明 为 编写 用 于 输入 输出 的 实际 数值 和 预期 结果 ， 
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同时 还 明确 指出 ， 使 用 具体 测试 用 例 产生 的 测试 程序 的 限制 。 一 个 测试 用 例 的 编写 可 参 
考 表 5-14。 


表 5-14 测试 用 例 


编制 人 _ -一 一 一 一 一 
站 
测试 用 例 

用 例 编导 

参考 信息 《参考 的 文档 及 章节 号 或 功能 项 ); 


编号 : 


输入 说 明 ( 列 出 选用 的 输入 项 ， 徐 盖 正 常 、 寞 常情 况 ); 
输出 说 明 《〈 逐 条 与 输入 项 对 应 ， 列 出 预期 输出 ): 

环境 要 求 〈 测 试 要 求 的 软 、 硬 件 、 网 络 要求 ) 

特殊 规程 要 求 : 

用 例 间 的 依赖 关系 ， 


用 例 产生 的 测试 程序 限制 |: 


测试 用 例 应 该 解释 要 向 软件 发 送 什 么 值 或 者 条 件 ， 以 及 预期 结果 。 一 个 测试 用 例 说 
明 可 以 由 多 个 测试 用 例 说 明 来 引用 ， 也 可 以 引用 多 个 测试 程序 。ANSIIEEE 829 标准 还 
列 出 了 一 些 应 该 包含 在 内 的 重要 信息 ， 如 下 所 示 。 z 
e。 标识 符 ， 由 测试 设计 过 程 说 明和 测试 程序 说 明 引 用 的 惟一 标识 符 。 
。 测试 项 : 描述 被 测试 的 详细 特性 、 代 码 模 块 等 ， 应 该 比 测试 设计 说 明 中 所 列 的 
特性 更 加 具体 。 如 果 测 试 设计 说 明 提 到 “计算 器 程序 的 加 法 功能 ”那么 测试 用 
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例 说 明 就 会 相应 地 提 到 “加 法 运算 的 上 限 洲 出 处 理 ”。 它 还 要 指出 引用 的 产品 说 
明 书 或 者 测试 用 例 所 依据 的 其 他 设计 文档 。 

。 输入 说 明 ， 该 说 明 列 举 执 行 测试 用 例 的 所 有 输入 内 容 或 者 条 件 。 如 果 测 试 计算 
器 程序 ， 输 入 说 明 可 能 简单 到 “1+1”。 如 果 测 试 蜂窝 电话 交换 软件 ， 输 入 说 明 
可 能 是 成 百 上 千 种 输入 条 件 。 如 果 测 试 基 于 文件 的 产品 ， 输 入 说 明 可 能 是 文件 
名 和 内 容 的 描述 。 

。 输出 说 明 : 描述 进行 测试 用 例 预 期 的 结果 。 例 如 ，1+1 等 于 2 吗 ? 在 蜂窝 软件 
中 上 千 个 输出 变量 设置 正确 吗 ? 读 取 文 件 的 全 部 内 容 和 预想 的 一 样 吗 ? 

。 环境 要 求 : 是 指 执行 测试 用 例 必要 的 硬件 、 软 件 、 测 试 工具 、 人 员 等 。 

e 特殊 要 求 ， 描 述 执 行 测 试 必须 的 特殊 要 求 。 测 试 写字 板 程 序 也 许 不 需要 任何 特 
殊 条 件 ， 但 是 测试 一 些 特殊 的 软件 (如 核电 站 软件 〉 就 有 特殊 要 求 。 

。 用 例 之 间 的 依赖 性 : 如 果 一 个 测试 用 例 依赖 于 其 他 用 例 ， 或 者 受 其 他 用 例 的 
响 ， 就 应 该 在 此 注 明 。 

如 果 按 照 这 里 推荐 的 文档 格式 ， 对 于 每 一 个 测试 用 例 至 少 都 要 写 上 一 页 的 描述 文 
字 ， 数 千 个 测试 用 例 可 能 要 形成 几 千 页 文档 。 所 以 我 们 经 常 把 ANSIIEEE 829 标准 当 作 
规范 而 不 是 标准 使 用 (除非 必须 这 样 做 ， bl a nn dre i 
测试 用 例 ， 但 是 在 大 多 数 情况 下 可 以 采用 简便 方法 )。 

采用 简便 方法 并 不 是 说 放弃 或 者 忽 视 重要 的 信息 ， 而 是 意 在 找 出 一 个 更 有 效 的 方法 
对 这 些 信息 进行 精简 ， 例 如 ， 没有 必要 刻意 要 求 不 能 用 书面 段落 形式 表述 测试 用 例 。 如 
表 5-15 给 出 了 一 个 打印 机 兼容 性 简单 列表 的 例子 。 


5-15 打 et 
测试 用 例 序列 号 


WP0001 BJC- on 


WP0002 Canon 
WP0003 Canon em | 
WP0004 Canon 
WPp0005 
WP0006 Ce 
WP0007 Canon 
WP0008 Canon 
WP0009 
WP0010 
WP00D _Laserlet | 人 
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表 中 的 每 一 行 是 一 个 测试 用 例 ， 有 自己 的 标识 符 。 伴 随 测 试用 例 的 所 有 其 他 信息 ， 
例如 测试 项 、 输 入 说 明 、 输 出 说 明 、 环 境 要 求 、 特 殊 要 求 和 依赖 性 等 对 所 有 这 些 用 例 都 
必须 有 ， 可 以 一 并 编写 ， 附 加 到 表格 中 。 审查 测试 用 例 的 人 可 以 快速 看 完 测试 用 例 信息 ， 
然后 审查 表格 ， 检 查 其 范围 。 

” ”表述 测试 用 例 的 其 他 选择 有 大 纲 、 状 态 表 或 数据 流程 图 等 方式 。 


5.3.4 ”测试 程序 说 明 


编写 完 测试 设计 和 测试 用 例 之 后 ， 就 要 说 明 执 行 测试 用 例 的 程序 。 什 么 是 测试 程序 
昵 ? ANSUIEEE 829 标准 把 测试 程序 定义 为 “明确 指出 为 实现 相关 测试 设计 而 执行 具体 
测试 用 例 和 操作 软件 系统 的 全 部 步骤 ”。 

测试 程序 ， 有 时 也 叫 “ 测 试 脚本 说 明 ”， 详 细 定义 了 执行 测试 用 例 的 每 一 步 操 作 。 
以 下 是 需要 定义 的 内 容 。 

。 标识 符 : 用 来 把 测试 程序 与 相关 测试 用 例 和 测试 设计 相 联系 的 惟一 标识 。 

。 目的 : 本 程序 描述 的 目的 以 及 将 要 执行 的 测试 用 例 的 引用 信息 。 

。 特殊 要 求 :执行 测试 所 需 的 其 他 程序 、 特 殊 测 试 技术 或 者 特殊 设备 。 

。 程序 步 又 : 执行 测试 用 例 的 详细 描述 。 它 包含 以 下 内 容 。 

@ 日 志 , 指出 用 什么 方法 记录 测试 结果 和 现象 。 

@ 设置 说明 如 何 准 备 测试 。 

@ 启动 ， 说 明 启 动 测试 的 步骤 。 

@ 程序 ， 描 述 运行 测试 的 步骤 。 

. .@ 衡量 标准 ， 描 述 如 何 判断 结果 。 

关闭 ， 描 述 因 意 外 原因 而 推迟 测试 的 步骤 。 

@ 终止 ， 描 述 正常 停止 测试 的 步骤 。 

@ 重 界 说 明 如 何 把 环境 恢复 到 测试 前 的 状态 。 

@ 偶然 事件 ， 说 明 如 何 处 理 计划 之 外 的 情况 。 

如 果 我 们 把 测试 程序 只 理解 成 “尝试 执行 所 有 的 测试 用 例 并 报告 发 现 的 问题 ”是 
不 够 的 。 这 虽然 简单 、 容 易 ， 但 是 无 法 告诉 新 加 入 的 测试 员 如 何 进行 测试 ， 不 能 重复 
而 且 无 法 证 明 哪 些 步骤 执行 了 。 使 用 详细 的 程序 说 明 ， 则 把 要 测试 什么 、 如 何 测 试 等 
问题 都 表述 得 一 目 了 然 。 如 图 5-12 所 示 是 “Windows 计算 器 ”的 测试 程序 说 明 的 例子 
片断 。 
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标识 号 ， 计 算 器 。 
目的 : 本 程序 说 明 描 述 执行 加 法 测试 用 例 的 步骤 。 
特殊 要 求 ， 本 次 测试 不 需要 特殊 的 硬件 和 软件 。 
程序 步骤， 

且 志 ， 测 试 员 按 测试 要求 记录 程序 执行 过 程 ， 所 有 必 
须 填写 的 项 都 必须 填写 ， 包 括 问题 的 记录 。 


设置 ， 测 试 者 必须 安装 Windows 98 的 干净 副本 ， 使 
用 测试 工具 Tool-A 和 Tool-B 等 。 


启动 启动 Windows 98， 单 击 开 始 按 钮 ， 选 择 程序 ， 
选择 附件 、 选 择 计 算 器 。 

程序 ， 用 键盘 输入 每 个 测试 用 例 并 比较 结果 。 
衡量 标准 ，……. 


图 5-12 ”测试 程序 说 明 片 断 


5.3.5 测试 用 例 细节 探讨 


俗话 说 “做 什么 都 要 适可而止 ”， 测 试用 例 计 划 也 一 样 。 测 试用 例 计 划 包 括 四 个 目 
标 ， 即 组 织 性 、 重 复 性 、 跟 踪 和 测试 证 实 。 开 发 测试 用 例 的 软件 测试 工程 师 要 力争 实现 
这 些 目标 ， 但 是 其 实现 程度 取决 于 行业 、 人 公司、 项 目 和 测试 组 的 具体 情况 ， 通 常 也 不 太 
可 能 按照 最 细致 的 程度 去 编写 测试 用 例 。 

我 们 设计 的 测试 用 例 计 划 要 力求 达到 最 佳 的 详细 程度 ， 比 如 ， 在 一 个 测试 程序 中 要 
求 在 PC 机 上 安装 Windows 2000 来 执行 测试 ， 测 试 程序 在 其 设置 部 分 声明 需要 
Windows 2000， 但 是 未 声明 Windows 2000 的 哪个 版 本 。 那 么 一 两 年 内 出 现 新 版 本 会 怎 
样 ? 测试 程序 需要 升级 来 反映 这 个 变化 吗 ? 为 了 避免 这 个 问题 ， 可 以 省 略 具体 的 版 本 ， 
而 用 “可 用 的 最 新 版 本 ”这 样 的 说 明 来 替代 。 

无 比 详 细 的 测试 用 例 说 明 减 少 了 测试 的 随意 性 ， 使 测试 可 以 很 好 地 重复 ， 使 得 无 经 
验 的 测试 人 员 按 照 测试 用 例 说 明 也 能 执行 测试 。 但 是 编写 如 此 细致 的 测试 用 例 说 明 要 花 
” 费 相 当 多 的 时 间 和 精力 ， 并 且 由 于 细节 繁多 ， 也 会 阻 滞 测试 工作 ， 造 成 测试 执行 时 间 

变 长 。 

开始 编写 测试 用 例 时 ， 最 好 是 采用 当前 项 目的 标准 ， 同 时 需要 根据 ANSUIEEE 829 
标准 定义 的 格式 ， 看 什么 符合 项 目 要 求 ， 并 可 以 做 适当 的 调整 。 

不 同 的 测试 工程 师 设计 的 测试 用 例 也 会 有 所 不 同 。 通 常 有 经 验 的 测试 工程 师 设计 出 


www.TopSage.com 


152 软件 评测 师 教程 


来 的 测试 用 例 ， 在 深度 及 广度 上 会 比 经 验 少 的 测试 工程 师 的 完整 ， 这 也 是 所 谓 的 测试 经 
验 值 。 举 例 来 讲 ， 客 户 反 应 前 一 版 V1.3 的 软件 在 Windows 98 的 环境 下 运行 时 ， 在 屏 桨 
保护 程序 激活 后 会 产生 问题 ， 开 发 工程 师 将 这 问题 解决 并 且 已 提交 修正 版 本 供 客 户 网 络 
下 载 , 并 且 目 前 开发 工程 师 所 开发 的 软件 最 新 版 本 为 V1.5 版 , 软件 测试 工程 师 就 必须 在 
V1.5 版 的 测试 用 例 内 ， 加 入 屏幕 保护 程序 激活 测试 用 例 ， 甚 至 将 这 个 用 例 增 加 至 其 他 的 
测试 平台 。 
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6.1 自 盒 测试 基本 技术 
6.1.1 词法 分 析 与 语法 分 析 


通过 词法 分 析 与 语法 分 析 可 以 获取 软件 组 成 的 重要 基本 因数 ， 例 如 ; 变量 标识 得 、 
过 程 标识 符 、 常 量 等 ， 组 合 这 些 基 本 因数 可 以 得 到 软件 的 基本 信息 。 如 ;: 


标号 交叉 引用 表 。 列 出 在 各 模块 中 出 现 的 全 部 标号 ， 在 表 中 标 出 标号 的 属性 ， 

包括 已 说 明 、 未 说 明 、 已 使 用 、 未 使 用 ， 表 中 还 包括 在 模块 以 外 的 全 局 标号 、 

计算 标号 等 。 

变量 交叉 引用 表 ， 即 变量 定义 与 引用 表 。 在 表 中 应 标明 各 变量 的 属性 ， 包括 已 
说 明 、 未 说 明 、 隐 式 说 明 以 及 类 型 及 使 用 情况 ， 进 一 步 还 可 区 分 是 否 出 现在 赋 
值 语句 的 右边 ， 是 否 属于 COMMON 变量 、 全 局 变量 或 特权 变量 等 。 

子 程序 、 宏 和 函数 表 。 在 表 中 列 出 各 个 子 程序 、 宏 和 函数 的 属性 ， 包 括 已 定义 、 
未 定义 、 定 义 类 型 ， 以 及 参数 表 、 输 入 参数 的 个 数 、 顺 序 、 类 型 ， 输 出 参数 的 
个 数 、 顺 序 、 类 型 ， 已 引用 、 未 引用 、 引 用 次 数 等 。 

等 价 表 。 表 中 列 出 在 等 价 语句 或 等 值 语句 中 出 现 的 全 部 变量 和 标号 ， 

常数 表 。 表 中 列 出 全 部 数字 常数 和 字符 常数 ， 并 指出 它们 在 哪些 语句 中 首先 被 
定义 。 


按 功 能 分 类 ， 引 用 表 的 作用 有 以 下 3 种 。 


直接 从 表 中 查 出 说 明 /使 用 错误 。 如 循环 层次 表 、 变量 交叉 引用 表 、 标号 交叉 引 
用 表 。 

为 用 户 提供 辅助 信息 。 如 子 程序 〈 宏 、 函数 ) 引用 表 、 等 价 表 、 常 数 表 。 

用 来 做 错误 预测 和 程序 复杂 度 计算 。 如 操作 符 和 操作 数 的 统计 表 等 。 


6.1.2 静态 错误 分 析 


静态 错误 分 析 用 于 确定 在 源 程序 中 是 否 有 某 类 错误 或 “危险 ”结构 。 它 有 以 下 几 种 。 
1. 类 型 和 单位 分 析 
为 了 强化 对 源 程 序 中 数据 类 型 的 检查 ， 在 程序 设计 语言 中 扩充 一 些 新 的 数据 类 型 ， 
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例如 ， 仅 能 在 数组 中 使 用 的 “下 标 ” 类 型 及 在 循环 语句 中 当 作 控制 变量 使 用 的 “ 计数 器 ” 
类 型 。 这 样 就 可 以 静态 预 处 理 程序 ， 分 析 程 序 中 的 类 型 错误 。 

2. 引用 分 析 

在 削 态 错误 分 析 中 ， 最 广泛 使 用 的 技术 就 是 发 现 引 用 异常 。 如 果 沿 着 程序 的 控制 路 
径 ， 变 量 在 赋值 以 前 被 引用 ， 或 变量 在 赋值 以 后 未 被 引用 ， 这 时 就 发 生 了 引用 异常 。 

为 了 检测 引用 异常 ， 需 要 检查 通过 程序 的 每 一 条 路 径 。 通 常 采用 类 似 深度 优先 的 方 
法 遍历 程序 流 图 的 每 一 条 路 径 , 也 可 以 建立 引用 异常 的 探测 工具 , 这 种 工具 包括 两 个 表 ， 
定义 表 和 未 引用 表 。 每 张 表 中 都 包含 一 组 变量 表 。 未 引用 表 中 包括 已 被 赋值 但 还 未 被 引 
用 的 一 些 变量 。 

当 扫 描 抵 达 一 个 出 度 大 于 1 的 节点 V 时 , 深度 优先 探测 算法 要 求 先 检查 最 左 分 支 的 
那 一 部 分 程序 流 图 ， 然 后 再 检查 其 他 分 支 。 在 最 左 分 支 检 查 完 之 前 ， 应 把 定义 表 与 未 引 
用 表 的 当前 内 容 用 一 个 栈 暂 时 存储 起 来 ， 当 最 左 分 支 检 查 完 之 后 ， 算 法 控制 返回 到 节点 
V， 从 栈 中 恢复 该 节点 的 定义 表 和 未 引用 表 的 老 的 副 表 ， 然 后 再 去 遍历 该 节点 的 下 一 个 
分 支 ， 这 个 过 程 要 继续 到 全 部 分 支 检查 完 为 止 。 

3. 表达 式 分 析 

对 表达 式 进行 分 析 ， 以 发 现 和 纠正 在 表达 式 中 出 现 的 错误 。 包 括 : 

e 在 表达 式 中 不 正确 地 使 用 了 括号 造成 错误 ; 

。 数组 下 标 越界 造成 错误 ; 

e ”除数 为 零 造 成 错误 ; 

e。 对 负数 开平 方 或 对 7 求 正 切 造 成 错误 。 ， 

最 复杂 的 一 类 表达 式 分 析 是 对 浮 点 数 计算 的 误差 进行 检查 。 由 于 使 用 二 进 制 数 不 精 
确 地 表示 十 进 制 浮 点数 ， 常 常 使 计算 结果 出 平 意料 。 

4。 接口 分 析 

接口 一 致 性 是 程序 的 静态 错误 分 析 和 设计 分 析 共 同 研 究 的 题目 。 接 口 一 致 性 的 设计 
可 以 分 析 检查 模块 之 间接 口 的 一 致 性 和 模块 与 外 部 数据 库 之 间接 口 的 一 致 性 。 

程序 关于 接口 的 表态 错误 分 析 检 查 过 程 与 实 参 在 类 型 、 函 数 过 程 之 间接 口 的 一 致 
性 ， 因 此 要 检查 形 参 与 实 参 在 类 和 型、 数量、 维 数 、 顺 序 、 使 用 上 的 一 致 性 ;检查 全 局 变 
量 和 公共 数据 区 在 使 用 上 的 一 致 性 。 


6.1.3 ”程序 插 桩 技术 


在 软件 动态 测试 中 ， 程 序 插 桩 (Program Instrumentation〉 是 一 种 基本 的 测试 手段 ， 
有 着 广泛 的 应 用 。 
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1。 方 法 简介 \ 

程序 插 桩 方法 , 简单 地 说 ,是 借助 往 被 测 程序 中 插入 操作 ,来 实现 测试 目的 的 方法 。 

我 们 在 调试 程序 时 ， 常 常 要 在 程序 中 插入 一 些 打 印 语句 。 其 目的 在 于 ,希望 执行 程序 
时 ， 打 印 出 我 们 最 为 关心 的 信息 。 进 一 步 通过 这 些 信息 了 解 执 行 过 程 中 程序 的 一 些 动态 特 
性 。 比 如 ， 程 序 的 实际 执行 路 径 ， 或 是 特定 变量 在 特定 时 刻 的 取 值 。 从 这 一 思想 发 展 出 的 
程序 插 桩 技术 能 够 技 用 户 的 要 求 ， 获 取 程序 的 各 种 信息 ， 成 为 测试 工作 的 有 效 手段 。 

如 果 我 们 想 要 了 解 一 个 程序 在 某 次 运行 中 所 有 可 执行 语句 被 履 盖 (或 称 被 经 历 〉 的 
情况 ， 或 是 每 个 语句 的 实际 执行 次 数 ， 最 好 的 办 法 是 利用 插 桩 技术 。 这 里 仅 以 计算 整数 
X 和 整数 Y 的 最 大 公约 数 程序 为 例 ， 说 明 插 桩 方法 的 要 点 。 图 6-1 所 示 给 出 了 这 一 程序 
的 流程 图 。 图 中 虚线 框 并 不 是 源 程序 的 内 容 ， 而 是 为 了 记录 语句 执行 次 数 而 插入 的 。 


图 6-1 插 桩 后 求 最 大 公约 数 程序 的 流程 图 
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这 些 虚 线 框 要 完成 的 操作 都 是 计数 语句 ， 其 形式 为 ; 
Ci)=CO)+1 i=1,2,...,6 
程序 从 入 口 开始 执行 ， 到 出 口 结束 。 凡 经 历 的 计数 语句 都 能 记录 下 该 程序 点 的 执行 
次 数 。 如 果 我 们 在 程序 的 入 口 处 还 插入 了 对 计数 器 C (i) 初始 化 的 语句 ， 在 出 口 处 插入 
了 打印 这 些 计 数 器 的 语句 ， 就 构成 了 完整 的 插 桩 程序 ， 它 促 能 记 好 天 栓 由 在 下 程序 感 上 
语句 的 实际 执行 次 数 。 如 图 6-2 所 示 表 示 了 揪 柱 后 的 程序 ， 图 中 箭头 所 指 均 为 插入 的 语 


句 《 源 程序 语句 略 )。 


cae 


cocoyi 


Cs 


图 6-2 ” 插 桩 程 岸 中 插入 的 语句 


通过 插入 的 语句 获取 程序 执行 中 的 动态 信息 ， 这 一 做 法 如 同 在 刚 研制 成 的 机 器 特定 
部 位 安装 记录 仪表 一 样 。 安 装 好 以 后 开动 机 器 试 运行 ， 我 们 除了 可 以 从 机 器 加 工 的 成 品 
检验 得 知 机 器 的 运行 特性 外 ， 还 可 通过 记录 仪表 了 解 其 动态 特性 。 这 就 相当 于 在 运行 程 
序 以 后 ， 一 方面 可 检验 测试 的 结果 数据 ， 男 一 方面 还 可 从 助 插入 语句 给 出 的 信息 了 解 程 
序 的 执行 特性 。 正 是 这 个 原因 ， 有 时 把 插入 的 语句 称 为 “探测 器 "， 借 以 实现 “探查 ”或 
“监控 ”的 功能 。 

在 程序 的 特定 部 位 插入 记录 动态 特性 的 语句 ， 最 终 是 为 了 把 程序 执行 过 程 中 发 生 的 
一 些 重要 历史 事件 记录 下 来 。 例 如 ， 记 录 在 程序 执行 过 程 中 某 些 变量 值 的 变化 情况 ， 变 
化 的 范围 等 。 又 如 本 书 前 面 章节 中 所 讨论 的 程序 远郊 入 和 遂 情 况 ， 也 只 有 通过 程序 的 搬 桩 
才能 取得 覆盖 信息 。 实 践 表 明 ， 程 序 插 术 方法 是 应 用 很 广 的 技术 ， 特 别 是 在 完成 程序 的 
测试 和 调试 时 非 贡 有效。 

设计 插 桩 程序 时 需要 考虑 的 问题 包括 : 

。 探测 哪些 信息 ; 
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。 在 程序 的 什么 部 位 设置 探测 点 ; 

e。 ”和 需要 设置 多 少 个 探测 点 。 

其 中 前 两 个 问题 需要 结合 具体 情况 解决 , 并 不 能 给 出 笼统 的 回答 。 至 于 第 三 个 问题 ， 
需要 考虑 如 何 设置 最 少 探 测 点 的 方案 。 例 如 ， 在 如 图 6-1 所 示 的 程序 入 口 处 ， 若 要 记录 
语句 Q=X 和 了 R=Y 的 执行 次 数 ， 只 需 插入 C(1) = C(1)+ 1 这 样 一 个 计数 语句 就 够 了 ， 
没有 必要 在 每 个 语句 之 后 都 插入 一 个 计数 语句 。 在 一 般 的 情况 下 ， 我 们 可 以 认为 ， 在 没 
有 分 支 的 程序 段 中 只 需 一 个 计数 语句 。 但 程序 中 如 果 出 现 了 多 种 控制 结构 ， 使 得 整个 结 
构 十 分 复杂 ， 则 为 了 在 程序 中 设计 最 少 的 计数 语句 ， 需 要 针对 程序 的 控制 结构 进行 具体 
的 分 析 。 这 里 我 们 以 Fortran 程序 为 例 ， 列 举 至 少 应 在 哪些 部 位 设置 计数 语句 : 

。 程序 块 的 第 一 个 可 执行 语句 之 前 ; 

e。 ”entry 语句 的 前 后 ; 

。 ”有 标号 的 可 执行 语句 处 ; 

e。 do、do while、do until 及 do 终端 语句 之 后 ; 

。 block-if、ejlse if、else 及 endif 语句 之 后 ; 

。 logical if 语句 处 ; 

be 输入 / 输 出 语句 之 后 ; 

e “call 语句 之 后 ; 

e。 计算 go to 语句 之 后 。 
2. 断 盲 语句 

在 程序 中 的 特定 部 位 插入 某 些 用 以 判断 变量 特性 的 语句 ， 使 得 程序 执行 中 这 些 语 句 
得 以 证 实 ， 从 而 使 程序 的 运行 特性 得 到 证 实 。 我 们 把 插入 的 这 些 语句 称 为 断言 
《assertions )。 这 一 作法 是 程序 正确 性 证 明 的 基本 步骤， 尽管 算 不 上 严格 的 证 明 ， 但 方法 
本 身 仍然 是 很 实用 的 ,下面 以 求 两 个 非 负数 NUM 和 DEN 之 商 的 Wensley 迭代 算法 为 例 ， 
对 断言 语句 的 作用 作 一 简要 说 明 。 : 

假定 两 个 非 负 数 中 ，NUM 小 于 M 即 所 得 之 商 小 于 1), 算法 中 只 用 到 加 、 减 及 除 
2 的 运算 。 该 迭代 算法 的 程序 如 图 6-3 所 示 。 

从 程序 中 可 以 看 出 ， 在 每 次 欠 代 中 由 分 母 得 到 的 变量 B 以 及 权 增 量 W 都 要 缩小 一 
半 ， 而 且 变 量 A 随 着 迭代 次 数 的 增加 将 接近 分 子 。 这 些 粗略 的 观察 和 分 析 可 以 用 以 下 
4 个 断言 语句 表达 ， 在 每 次 迭代 开始 时 4 个 断言 必定 为 真 : 

@ W=2™ (K 是 迭代 次 数 ， 并 且 K > 0); 

@ A=DEN*Qi; 

@ B=DEN* W/2; 

@ NUM/DEN -W < Q < NUM/DEN 
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procedure DIVIDE(NUM, DEN, E, Q) 
* Eis the accuracy required. E30. Q is both 四 
* the result at exit and at any interim stage.  * 
* A. B and Ware the other elements of the pro-* 
* gram Vector， 
0:=0 
A:=0 
B:=DEN/2 
W:=1 
until W < E loop 
if (NUM-A-B)>0 
then 
Q:=Q + W/2 
A:=A+B 
endif 
B:=B/2 
W:=W/2 
endloop 


end 


图 6-3 计算 两 非 负数 之 商 的 和 迭代 程序 


此 外 ， 我 们 还 看 出 ， 在 循环 外 W < E， 而 且 结 果 Q 总 是 从 下 面 通 近 真 正 的 商 。 这 就 

得 到 了 输出 断言 : 
NUM/DEN - E < Q < NUM/DEN 

它 和 .上 面 的 第 @ 断 言 很 相似 。 

假定 我 们 所 用 的 编译 系统 能 够 处 理 表达 式 形式 的 断言 语句 ， 插 入 断言 以 后 的 程序 如 
6-4 所 示 。 其 中 带 有 标记 @ 的 语句 是 断言 语句 。 新 增加 的 变量 人 K 只 是 在 计算 第 Q) 断 言 
时 用 到 。 

首先 来 检验 在 初始 化 以 后 循环 后 的 断言 。 

QD 由 于 K=0， 所 以 是 初 值 。W =2-K=1。 

加 由 于 Q=0，A 的 初始 A =DEN*Q=0。 

@@ 将 W 的 值 代入 DEN * W/2， 则 得 B 的 初 值 ，B = DEN/2。 

@ 我 们 曾 假定 0 三 NUM < DEN，NUM/DEN - 1 (W 的 值 ) 必定 小 于 零 ， 因 而 
也 就 小 于 Q ( 它 是 零 )。 而 且 ，NUMI/DEN 必定 大 于 Q， 因 为 NUM 和 DEN 均 为 正 ， 
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procedure DIVIDE(NUM, DEN, E, Q) 
* E is the required accuracy. E20. Q is both 和 
* the result at exit and at any interim stage. a 
* A,. B and W are the other elements of the pro-* 
* gram vector. 


SSAA ® 


Q:=0 
A:=0 


z B:=DEN/2 


W:=1 

K:=0 

until K< E loop 
assert W=1/2**K 
assert A=DEN*Q 
assert B=DEN*W/2 


, assert NUM/DEN-W<Q and Qs NUM/DEN 


if (NUM-A-B)>0 
then 
Q:=Q+W/2 
A:=A+B 
endif 
B:;=B/2 
W:=W/2 
K:=K+l 
endloop | 
assert NUM/DEN-E<Q and Q<sNUMADEN 
end 


6-4 插入 断言 后 的 迭代 程序 


以 上 说 明了 这 些 断 言 在 初始 状态 下 为 真 。 如 果 继续 迄 代 ， 要 证 明 断 言 为 真 ， 就 必 
须 证 明 无 论 让 then 结构 中 执行 什么 路 径 这 些 断 言 都 为 真 。 我 们 先 来 考虑 在 初始 测试 中 
NUM-A-B 之 0 为 假 ， 即 检验 失败 ， 然 后 给 出 程序 向 量 的 新 值 (A BW' Q' 和 KK?”)， 


A ' =A 
B = B/2 
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W = W/2 
QQ 
K =K+l1. 

再 来 检验 4 个 断言 : 

DW =W2=1/2**K 

©®@OA =A=DEN*Q=DEN+*Q' 

四 B =B/2=DEN * W/4=DEN* W'/2 

@ 把 A 和 B 代 入 (NUM -A-B<0), 得 到 NUM-DEN*Q-DEN* W/2<0， 对 
此 关系 式 两 端 除 以 DEN， 并 加 Q， 得 到 ， 由 于 Q= Q，W'= W/2， 我 们 有 ”NUM/DEN - 
W <Q,， 且 Q<sNUMDEN。 

如 果 让 then 检验 成 立 ， 再 来 看 4 个 断言 。 使 用 A"”，B”，W"，Q" 和 K" 作 为 新 的 程 
序 向 县， 我 们 有 : 

DW'= WA=1/2**K" 

A"= DEN *Q+DEN* W/2=DEN*(Q+W/2)=DEN*Q" 

©® B"= B/2=DEN* W/4=DEN * W"/2 

代入 (NUM-A-B 三 0)， 并 作 同 前 的 变换 ， 得 到 NUMVDEN - W”2 < Q"+ 
内 只 或 ; NUMDEN - W"<Q"， 并 且 Q" 和 NUM/DEN。 

总 之 ， 无 论 执行 哪 一 路 径 ， 在 每 一 迭代 的 开始 ，4 个 断言 均 为 真 。 尽 管 并 未 考虑 输 
出 断言 ， 但 是 我 们 知道 ， 第 由 断言 成 立 ， 由 于 W < E，NUM/DEN -E<Q 和 Q 
NUMI/DEN 必定 为 真 ， 也 就 必定 满足 输出 断言 。 


6.2 “日 盒 测 试 方法 
6.2.1 代码 检查 法 


代码 检查 包括 桌面 检查 、 代 码 审查 和 走 查 等 ， 主 要 检查 代码 和 设计 的 一 致 性 ， 代 码 
对 标准 的 遵循 、 可 读 性 ， 代 码 示 辑 表达 的 正确 性 ， 代 码 结构 的 合理 性 等 方面 ， 发 现 违背 
程序 编写 标准 的 问题 ， 程 序 中 不 安全 、 不 明确 和 模糊 的 部 分 ， 找 出 程序 中 不 可 移植 部 分 、 
违背 程序 编程 风格 的 问题 ， 包 括 变量 检查 、 命 名 和 类 型 审查 、 程 序 逻 辑 审查 、 程 序 语法 
检查 和 程序 结构 检查 等 内 容 。 a 

1， 代 码 检查 方式 

(1) 桌面 检查 

这 是 一 种 传统 的 检查 方法 ， 由 程序 员 检查 自己 编写 的 程序 。 程 序 员 在 程序 通过 编 
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译 之 后 ， 对 源 程序 代码 进行 分 析 、 检验 ， 并 补充 相关 的 文档 ， 目 的 是 发 现 程序 中 的 
错误 。 

由 于 程序 员 熟 悉 自己 的 程序 及 其 程序 设计 风格 ， 桌 面 检查 由 程序 员 自己 进行 可 以 节 
省 很 多 的 检查 时 间 ， De 

(2) 代码 审查 

代码 审查 是 由 若干 程序 员 和 测试 员 组 成 一 个 审查 小 组 ， 通 过 阅读 、 讨论 和 争议， 对 
程序 进行 静态 分 析 的 过 程 。 

代码 审查 分 两 步 ， 第 一 步 ， 小 组 负责 人 提前 把 设计 规格 说 明 书 、 控 制 流程 图 、 程 序 
文本 及 有 关 要 求 、 规 范 等 分 发 给 小 组 成 员 ， 作 为 审查 的 依据 。 小 组 成 员 在 充分 阅读 这 些 
材料 后 ， 进 入 审查 的 第 二 步 ， 召 开 程 序 审查 会 。 在 会 上 ， 首 先 由 程序 员 逐 句 讲解 程序 的 
逻辑 。 在 此 过 程 中 ， 程 序 员 或 其 他 小 组 成 员 可 以 提出 问题 ， 展 开 讨 论 ， 审 查 错误 是 否 存 
在 。 实 跟 表 明 ， 程 序 员 在 讲解 过 程 中 能 发 现 许 多 原来 目 己 没 有 发 现 的 错误 ， 而 讨论 和 争 
议 则 促进 了 问题 的 暴露 。 例 如 ， 对 某 个 局 部 性 小 问题 修改 方法 的 讨论 ， 可 能 发 现 与 之 牵 
连 的 其 他 问题 ， 甚 至 涉及 到 模块 的 功能 说 明 、 模 块 间 接口 和 系统 总 体 结构 的 大 问题 ， 从 
而 导致 对 需求 的 重 定义 、 重 设计 和 重 验证 ， 进 而 大 大 改善 了 软件 质量 。 
在 会 前 ， 应 当 给 审查 小 组 每 个 成 员 准 备 一 份 常见 错误 的 清单 ， 把 以 往 所 有 可 能 发 生 

的 常见 错误 罗列 出 来 ， 供 与 会 者 对 照 检 查 ， 以 提高 审查 的 实效 。 

这 个 常见 错误 清单 也 称 为 检查 表 ， 它 把 程序 中 可 能 发 生 的 各 种 错误 进行 分 类 ， 对 每 . 
一 类 列举 出 尽 可 能 多 的 典型 错误 ， 然 后 把 它 们 制 成 表格 ， 供 再 审查 时 使 用 。 

(3) 走 查 

走 查 与 代码 审查 基本 相同 ， 其 过 程 分 为 两 步 。 z 

第 一 步 也 是 把 材料 先 发 给 走 查 小 组 每 个 成 员 ， 让 他 们 认真 研究 程序 ， 然 后 再 开会 。 
开会 的 程序 与 代码 审查 不 同 ， 不 是 简单 地 读 程序 和 对 照 错误 检查 表 进 行 检查 ， 而 是 让 与 
会 者 “充当 ”计算 机 ， 即 首先 由 测试 组 成 员 为 所 测 程序 准备 一 批 有 代表 性 的 测试 用 例 ， 
提交 给 走 查 小 组 。 走 查 小 组 开会 ， 集 体 扮演 计算 机 角色 ， 让 测试 用 例 沿 程序 的 远 辑 运行 
一 遍 ， 随 时 记录 程序 的 踪迹 ， 供 分 析 和 讨论 用 。 

人 们 借助 测试 用 例 的 媒介 作用 ， 对 程序 的 逻辑 和 功能 提出 各 种 疑问 ， 结合 问题 开展 
热烈 的 讨论 和 争议 ， 能 够 发 现 更 多 的 问题 。 

代码 检查 应 在 编译 和 动态 测试 之 前 进行 ， 在 检查 前 ， 应 准备 好 需求 描述 文档 、 程 序 
设计 文档 、 程 序 的 源 代码 清单 、 代 码 编码 标准 和 代码 缺陷 检查 表 等 。 

在 实际 使 用 中 , 代码 检查 能 快速 找到 缺陷 , 发 现 30% 一 70% 的 逻辑 设计 和 编码 缺陷 ， 
而 且 代码 检查 看 到 的 是 问题 本 身 而 非 征兆 。 但 是 代码 检查 非常 耗费 时 间 ， 而 且 代 码 检查 
需要 知识 和 经 验 的 积累 。 
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代码 检查 可 以 使 用 测试 软件 进行 自动 化 测试 ， 以 利于 提高 测试 效率 ， 降 低 劳 动 强度 ， 
或 者 使 用 人 工 进 行 测试 ， 以 充分 发 挥 人 力 的 逻辑 思维 能 力 。 
2. 代码 检查 项 目 


位 查 变量 的 交叉 引用 表 : 重点 是 检查 未 说 明 的 变量 和 违反 了 类 型 规定 的 变量 ; 
还 要 对 照 源 程序 ， 逐 个 检查 变量 的 引用 、 变 量 的 使 用 序列 、 临 时 变量 在 某 条 路 
径 上 的 重 写 情况 ， 局 部 变量 、 全 局 变量 与 特权 变量 的 使 用 。 - 

检查 标号 的 交叉 引用 表 : 验证 所 有 标号 的 正确 性 ， 检 查 所 有 标号 的 命名 是 否 正 
确 ， 转 向 指定 位 置 的 标号 是 否 正确 。 

检查 子 程序 、 宏 、 函 数 : 验证 每 次 调用 与 所 调用 位 置 是 否 正确 ， 确 认 每 次 所 调 
用 的 子 程序 、 宏 、 函 数 是 否 存 在 , 检验 调用 序列 中 调用 方式 与 参数 顺序 、 个 数 、 
类 型 上 的 一 致 性 。 

等 价 性 检查 : 检查 全 部 等 价 变量 的 类 型 的 一 致 性 ， 解释 所 包含 的 类 型 差异 。 
常量 检查 : 确认 常量 的 取 值 和 数 制 、 数 据 类 型 ， 检 查 常 量 每 次 引用 同 它 的 取 值 、 
数 制 和 类 型 的 一 致 性 。 

标准 检查 ; 用 标准 检查 工具 软件 或 手工 检查 程序 中 违反 标准 的 问题。 

风格 检查 ; 检查 发 现 程序 在 设计 风格 方面 的 问题 。 

比较 控制 流 ， 比 较 由 程序 员 设 计 的 控制 流 图 和 由 实际 程序 生成 的 控制 流 图 ， 寻 
找 和 解释 每 个 差异 ， 修 改 文档 并 修正 错误 。 

选择 、 激 活路 径 ， 在 程序 员 设 计 的 控制 流 图 上 选择 路 径 ， 再 到 实际 的 控制 流 图 
上 激活 这 条 路 径 。 如 果 选 择 的 路 径 在 实际 控制 流 图 上 不 能 被 激活 ， 则 源 程序 可 
能 有 错 。 

对 照 程 序 的 规格 说 明 ， 详 细 阅 读 源 代码 ， 逐 字 逐 句 进行 分 析 和 思考 ， 比 较 实 际 
的 代码 和 期 望 的 代码 ， 从 它们 的 差异 中 发 现 程序 的 问题 和 错误 。 

补充 文档 ; 桌面 检查 的 文档 是 一 种 过 渡 性 的 文档 ， 不 是 公开 的 正式 文档 。 通 过 
编写 文档 ， 也 是 对 程序 的 一 种 下 意识 的 检查 和 测试 ， 可 以 生 助 程序 员 发 现 和 抓 
住 更 多 的 错误 。 管 理 部 门 也 可 以 通过 审查 桌面 检查 文档 ， 了 解 模 块 的 质量 、 完 
全 性 、 测 试 方法 和 程序 员 的 能 力 。 


根据 检查 项 目 可 以 编制 代码 规则 、 规范 和 检查 表 等 作为 测试 用 例 ， 如 编码 规范 、 代 
码 检查 规则 、 缺 陷 检 查 表 等 。 

3. 编码 规范 

编码 规范 是 程序 六 写 过 程 中 必须 遵循 的 规则， 一 般 会 详细 规定 代码 的 语法 规则 、 语 
法 格式 等 ， 如 表 6-1 所 示 。 
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表 6-1 编码 规范 
总 则 条 就 

排版 : z 
1-1: 程序 块 要 采用 缩 进 风格 编写 ， 缩 进 的 空格 数 为 4 个 
1-2: 相对 独立 的 程序 块 之 间 、 变 量 说 明之 后 必须 加 空 行 
1-3: 较 长 的 语句 (>80 字符 ) 要 分 成 多 行书 写 ， 长 表达 式 要 在 低 优先 级 操作 符 处 划分 新 行 ， 
操作 符 放 在 新 行 之 首 ， 划 分 出 的 新 行 要 进行 适当 的 缩 进 ， 使 排版 整齐 ， 语 名 可 读 
1-4: 循环 、 判 断 等 语句 中 若 有 较 长 的 表达 式 或 语句 ， 则 要 进行 适当 的 划分 ， 长 表达 式 要 在 
低 优先 级 操作 符 处 划分 新 行 ， 操 作 符 放 在 新 行 之 首 
1-$: 若 函 数 或 过 程 中 的 参数 较 长 ， 则 要 进行 适当 的 划分 “ 
1-6: 不 允许 把 多 个 短语 句 写 在 一 行 中 ， 即 一 行 只 写 一 条 语句 
1-7，f、while、for、defaujlt、do 等 语句 自 占 一 行 
1-8: 对齐 只 使 用 空格 键 ， 不 使 用 TAB 键 
1-9: 函数 或 过 程 的 开始 、 结构 的 定义 及 循环 、 TITTOTTEETETTTTS case 
语句 下 的 情况 处 理 语 名 也 要 遵从 语句 缩 进 要 求 
1-10; 程序 块 的 分 界 符 《〈 如 C/C+t+ 语 育 的 大 括号 “{” 和 “}?)》 应 各 自 独占 一 行 并 且 位 于 同 
一 列 ， 同 时 与 引用 它们 的 语句 左 对 齐 。 在 函数 体 的 开始 、 类 的 定义 、 结 构 的 定义 、 枚 举 的 
定义 以 及 诈 for、do、while0、switch、case 语句 中 的 程序 都 要 采用 如 上 的 缩 进 方式 
1-11: 在 两 个 以 上 的 关键 字 、 变 量 、 常 量 进行 对 等 操作 时 ， 它 们 之 间 的 拘 作 符 之 前 、 之 后 
或 者 前 后 要 加 空格 ， 进 行 非 对 等 操作 时 ， 如 果 是 关系 密切 的 ， 立 即 操作 符 0, 后 不 
应 加 空格 
注释 
2-1: 一 般 情 况 下 ， 源 程序 有 效 注释 二 必须 在 20% 以 上 


12-2; 说 明 性 文件 〈 如 头 文件 .h 文件 、.inc 文件 、.def 文件 、 编 译 说 明文 件 .cfp 等 头 部 应 


进行 注释 ， 注 释 必 须 列 出 ， 版 权 说 明 、 版 本 号 、 生 成 日 期 、 作者、 内容、 功能 、 与 其 他 文 
件 的 关系 、 修 改 日 志 等 ， 头 文件 的 注释 中 还 应 有 函数 功能 简要 说 明 

2-3: 源 文件 头 部 应 进行 注释 ， 列 出 版 权 说 明 、 版 本 号 、 生 成 日 期 、 作 者 、 模 块 目的 /功能 、 
主要 函数 及 其 功能 、 修 改 日 志 等 

2-4: 函数 头 部 应 进行 注释 ， 列 出 函数 的 目的 /功能 、 输 入 参数 、 和 输出 参数 、 返 回 值 、 调 用 
关系 (函数 、 表 ) 等 

2-5; 边 写 代码 边 注释 ， 修 改 代码 的 同时 修改 相应 的 注 短 ， 以 保证 注 宏 与 代码 的 一 至 性. 不 
再 有 用 的 注释 要 出 除 

2-6: 注释 的 内 容 要 消 楚 、 明 了 ， 含 义 准 确 ， 防 止 注释 二 义 性 

2-7:， 避免 在 注释 中 使 用 缩写 ， 特 别 是 非常 用 缩写 

2.8: 注释 应 与 其 描述 的 代码 相近 ， 对 代码 的 注释 应 放 在 其 上 方 或 右 方 (对 单条 语 铝 的 注释 ) 
相 邻 位 置 ， 不 可 放 在 下 面 ， 如 放 于 上 方 则 需 与 其 上 面 的 代码 用 空 行 隔 开 


”|2-9: 对 于 所 有 有 物理 含义 的 变量 、 常 量 ， 如 果 其 命名 不 是 充分 自 注释 的 ， 在 声明 时 都 必须 


加 以 注释 ， 说 明 其 物理 含义 。 变 量 、 常 量 、 宏 的 注释 应 放 在 其 上 方 相 邻 位 置 或 右 方 
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续 表 
总 则 和 条款 

注释 

2-10: 数据 结构 声明 (包括 数组 、 结 构 、 类 、 枚 举 等 )， 如 果 其 命名 不 是 充分 自 注释 的 ， 必 


| 须 加 以 注释 。 对 数据 结构 的 注释 应 放 在 其 上 方 相 邻 位 置 ， 不 可 放 在 下 面 ， 对 结构 中 每 个 域 
| 的 注释 放 在 此 域 的 右 方 

2-11: 全 局 变 一 要 有 较 评 细 的 注 条 | 包括 对 其 功能 、 取 什 范围、 哪些 函数 或 过 程 存 取 它 以 及 
存 取 时 的 注意 事项 等 的 说 明 


2-12: 注释 与 所 摘 述 内 容 进 行 同样 的 缩 排 


|2-13， 将 注释 与 其 上 面 的 代码 用 空 行 隔 开 
2-14， 对 变量 的 定义 和 分 支 语 句 《〈 条 件 分 支 、 循 环 语句 等 ) 必须 编写 注释 


2-15: 对 于 switch 语句 下 的 case 语句 ， 如 果 因 为 特殊 情况 需要 处 理 完 一 个 case 后 进入 下 一 


| 个 case 处 理 ， 必 须 在 该 case 语句 处 理 完 、 下 一 个 case 语句 前 加 上 明确 的 注释 


标识 得 命名 
3-1: 标识 符 的 命名 要 清晰 、 明 了 ， 有 明确 合 义 ， 同时 低 用 完整 的 站 词 成 和 家 基本 可 以 理解 


| 的 缩写 ， 避 免 使 人 产生 误解 


3-2: 命名 中 车 使 用 特殊 约定 或 缩写 ， 则 要 有 注释 说 明 


|3-3: 目 己 特有 的 命名 风格 ， 要 自始至终 保持 一 致 ， 不 可 来 回 变化 


3-4: 对 于 变 抽 命名， 禁止 取 单个 字符 (如 i、j、k…)， 建 议 除 了 要 有 具体 含义 外 ， 还 能 表 


明 其 变量 类 型 、 数 据 类 型 等 ， 但 i、j、k 作 局 部 循环 变量 是 允许 的 
|3-5: 命名 规范 必须 与 所 使 用 的 系统 风格 保持 一 致 ， 并 在 同一 项 目 中 统一 ， 比 如 采用 UNIX 


的 全 小 写 加 下 划 线 的 风格 或 大 小 写 混 排 的 方式 ， 不 要 使 用 大 小 写 与 下 划 线 混 排 的 方式 

可 读 性 

4-1: 注意 运算 符 的 优先 级 ， 并 用 括号 明确 表达 式 的 操作 顾 序 ， 避 免 使 用 默认 优先 级 

4-2: 避免 使 用 不 易 理 解 的 数字 ， 用 有 意义 的 标识 来 普 代 。 涉 及 物理 状态 或 者 合 有 物理 意义 


的 常生 ， 不 应 直接 使 用 数字 ， 必 须 用 有 意义 的 枚 举 或 宏 来 代替 


变量 


[5-1: 去掉 没 必要 的 公共 变 十 
| 5-2: 仔细 定义 并 明确 公共 变 二 的 含义 、 作 用 、 取 值 范围 及 公共 变量 各 的 关系 
5-3: 明确 公共 变量 与 操作 此 公共 变量 的 函数 或 过 程 的 关系 ， 如 访问 、 修 改 及 创建 等 


5-4， 当 向 公共 变量 传递 数据 时 ， 要 十 分 小 心 ， 防 止 赋予 不 合理 的 值 或 越界 等 现象 发 生 
5-5: 防止 局 部 变量 与 公共 变量 同名 

5-6: 严禁 使 用 未 经 初始 化 的 变量 作为 右 值 

函数 、 过 程 


ETT 


: 明确 函数 功能 ， 精 确 ( 而 不 是 近似 ) 地 实现 函数 设计 


es 纺 写 可 于 入 允 数 时， 记 注 窟 局 部 变 全 的 局 用 (如 名 写 CICH+ 话 家 的 可 尖 入 生 到 时 ， 应 
| 使 用 auto 即 缺 省 态 局 部 变 生 或 寄存 器 变量 ) 
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总 则 打球 


54 和 天使 用 全 局 变量 ， 则 应 通过 关中 断 、 信 号 是 《 即 、 VE 等 手 


段 对 其 加 以 保护 


可 测 性 
7-1: 在 同一 项 目 组 或 产品 组 内 ， 人 


| 相应 打印 函数 ， 并 且 要 有 详细 的 说 明 


7-2: 在 同一 项 目 组 或 产品 组 内 ， 调 测 打印 出 的 信息 串 的 格式 要 有 统一 的 形式 。 信息 串 中 至 
少 要 有 所 在 模块 名 或 源 文 件 名 )〉 及 行 号 : 

7-3: 编程 的 同时 要 为 单元 测试 选择 恰当 的 测试 点 ， 并 仔细 构造 测试 代码 、 测试 用 例 . 同时 
给 出 明确 的 注释 说 明 。 测 试 代码 部 分 应 作为 (模块 中 的 ) 本 以 万 便 测 试 代码 在 模 
块 中 的 安装 与 拆卸 (通过 调 测 开 关 ) 

7-4: 在 进行 集成 测试 /系统 联 调 之 前 ， 到 于 机 EE EE] 同时 仔细 
分 析 并 优化 测试 用 例 ， 以 提高 测试 效率 

7-5， 使 用 断言 来 发 现 软件 问题 ， 提 高 代码 可 测 性 

7-6: 用 断言 来 检查 程序 正常 运行 时 不 应 发 生 ， 但 在 调 测 时 有 可 能 发 生 的 非法 情况 


17-7: 不 能 用 断 吉 来 检查 最 终 吕 痛 定 会 出 现 且 必须 处 理 的 错误 铺 况 _ 
17-8: 为 较 复 杂 的 斯 言 加 上 明确 的 注释 


7-9: 用 断言 确认 函数 的 参数 

7-10: 用 断言 保证 没有 定义 的 特性 或 功能 不 被 使 用 

7-11， 用 断言 对 程序 开发 环境 〈OS/CompilewHardware) 的 假设 进行 检查 

7-12: 正式 软件 产品 中 应 把 断言 及 其 他 调 测 代码 去 掉 〈 即 把 有 关 的 调 测 开关 关 掉 ) 


上 7-13: 在 软件 系统 中 设置 与 取消 有 关 测 试 手段 ， 不 能 对 软件 实现 的 功能 等 产生 影响 


7-14; 用 调 测 开关 来 切换 软件 的 DEBUG 版 和 正式 版 出 个 站 同时 存在 正式 版 本 和 DEBUG 


| 版 本 的 不 同 源 文件 ， 以 减少 维护 的 难度 


7-15: 软件 的 DEBUG J -和 开本 
个 版 本 在 实现 功能 上 的 一 致 性 

程序 效率 

8-1， 编 程 时 更 经 常 注意 代码 的 效率 

8-2: 在 保证 软件 系统 的 正确 性 、 稳 定性 、 可 该 性 芭 语 说 性 的 而 入 下 ; 秽 高 代 友 效 率 

8-3: 局 部 效率 应 为 全 局 效率 服务 ， 不 能 因为 提高 局 部 效率 而 对 全 局 效率 造成 影响 
8-4: 通过 对 系统 数据 结构 的 划分 与 组 织 的 改进 ， 以 及 对 程序 算法 的 优化 来 提高 空间 效率 
8-5: 循环 体内 工作 量 最 小 化 

质量 保证 

9-1: 在 软件 设计 过 程 中 构筑 软件 质量 


.19-2; .代码 质 世 保证 优先 原则 


9-4: 防止 引用 已 经 释放 的 内 存 空 间 
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: 加 ee 续 表 
序 号 总 则 和 杀 就 
”质量 保证 
5 ”|9-5: 过 程 /函数 中 分 配 的 内 存 ， 在 过 程 /函数 退出 之 前 要 释放 
6 ”19-6: 过 程 /函数 中 申请 的 (为 打开 文件 而 使 用 的 ) 文件 句柄 ， 在 过 程 /函数 退出 之 前 要 关闭 
7 ”19-7， 防止 内 存 操作 越界 
”二 9-8: 认真 处 理 程序 所 能 过 到 的 各 种 出 错 情况 
9 -19-9， 系统 运行 之 初 ， 要 初始 化 有 关 变 重 及 运行 环境 ， 防 止 未 经 初始 化 的 变 熏 被 引用 
10 ”19-10: 系统 运行 之 初 ， 要 对 加 载 到 系统 中 的 数据 进行 一 致 性 检查 
11 ”|9-11: 严禁 随意 更 改 其 他 模块 或 系统 的 有 关 设 置 和 配置 
12 “|9-12: 不 能 随意 改变 与 其 他 模块 的 接口 
13 ”19-13: 充分 了 解 系统 的 接口 之 后 ， 再 使 用 系统 提供 的 功能 
-14 “|9-14: :编程 时 ， 开 防止 差 1 错误 z 
1s |9-15: 要 时 刻 注 意 易 混淆 的 操作 符 。 当 编 完 程序 后 ， 应 从 头 至 尾 检查 一 饥 这 些 操作 符 ， 以 
| 防止 拼写 错误 
本 19-16: 如 果 有 可 能 ， 让 语句 尽量 加 上 else 分 支 ， 对 没有 else 分 支 的 语句 要 小 心 对 待 ，switch 
| 语句 必须 有 default 分 支 
代码 编辑 、 编 译 、 审 查 
1 110-1: 打开 编译 器 的 所 有 告 车 开关 对 程序 进行 编译 
2 “|10-2: 在 产品 软件 〈 项 目 组 ) 中 ， 要 统一 编译 开关 选项 
3 ”|10-3: 通过 代码 走读 及 审查 方式 对 代码 进行 检查 
4 10-4: 测试 部 测试 产品 之 前 ， 应 对 代码 进行 抽查 及 审查 
代码 测试 、 维 护 
1 |11-1: 单元 测试 要 求 至 少 达到 语句 种 盖 
2 ”|11-2: 单元 测试 开始 要 跟踪 每 一 条 语句 ， 并 观察 数据 流 及 变量 的 变化 
3 ,11-3:， 消 理 、 整 理 臣 优化 后 的 代码 要 经 过 审查 及 测试 
4 11-4: 代码 版 本 升级 要 经 过 严格 测试 
5 ”|11-5: 使 用 工具 软件 对 代码 版 本 进行 维护 
6 11-6: 正式 版 本 上 软件 的 任何 修改 都 应 有 详细 的 文档 记录 
re 
1 ”|12-1: 用 宏 定 义 表 达 式 时 ， 要 使 用 完备 的 括号 
2 ”|12-2: 将 宏 所 定义 的 多 条 表达 式 放 在 大 括号 中 
3 ”|12-3: 使 用 宏 时 ， 不 允许 参数 发 生变 化 


4， 代 码 检查 规则 

在 代码 检查 中 ， 需 要 依据 被 测 软件 的 特点 ， 选 用 适当 的 标准 与 规则 规范 。 在 使 用 测 
试 软件 进行 自动 化 代码 检查 时 ， 测 试 工具 一 般 会 内 置 许多 的 编码 规则 ， 例 如 ，Parasoft 
公司 用 于 C/C++ 语言 测试 的 C++Test， 内 置 了 5 类 规则 : -通用 规则 、C++ 编 码 规则 、C 编 
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码 规则 、Meyers-Klaus 规则 和 自 定 义 规则 。 我 们 需要 根据 编程 语言 以 及 被 测 程序 的 特点 ， 
挑选 适当 的 规则 进行 检查 。 

例如 ， 在 测试 中 ， 可 以 选择 表 6-2 中 的 规则 进行 自动 化 测试 ， 在 此 基础 上 使 用 时 
面 检查 、 代 码 走 查 、 代 码 审 查 等 人 工 检 查 的 方法 仔细 检查 程序 的 结构 、 逻 辑 等 方面 的 


表 6-2 代码 检查 规则 
序 号 规则 描述 重要 程度 
if,else,while,do 语句 后 面 必 须 跟 一 个 语句 块 ， 哪 怕 是 空 的 一 般 


重要 
重要 
重要 
一 般 
代码 行 的 长 度 小 于 80 个 字符 

一 般 
一 般 
”一般 
一 般 
_ 为 防止 编译 器 生成 一 个 构造 函数 ， 至 少 声明 一 个 构造 函数 | 一 般 
不 要 把 常量 转变 为 非常 基 


FDISi= isi em 上 | bi 一 


| 
部 


S. 缺陷 检查 表 加 

在 进行 人 工 代 码 检查 时 ， 代 码 人 缺陷 检查 表 是 我 们 用 到 的 测试 用 例 。 

代码 缺陷 检查 表 中 一 般 包 括 容易 出 错 的 地 方 和 在 以 往 的 工作 中 遇 到 的 典型 错误 ， 如 
下 所 示 。 

。 格式 部 分 : 

中 幸 套 的 IF 正确 地 缩 进 了 吗 ? 

@ 注释 准确 并 有 意义 吗 ? 

@ 使 用 有 意义 的 标号 了 吗 ? 

@ 代码 基本 上 与 开始 时 的 模块 模式 一 致 吗 ? 

@@ 遵循 全 套 的 编程 标准 吗 ? 

e 入口 和 出 口 的 连接 : 
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@ 初始 入 口 和 最 终 出 口 正确 吗 ? 
©@ 当 对 及 一 个 模 藉 的 每 一 次 调用 时 ， 全 部 所 种 的 参数 传送 给 每 一 个 被 调用 的 术 
块 吗 ? 
©@ 被 传送 的 参数 值 正确 地 设置 了 吗 ? 
对 关键 的 被 调用 模块 的 意外 情况 (如 丢失 、 混 乱 ) 有 处 理 吧 ? 
。 程序 语言 的 使 用 ， 
@ 使 用 一 个 或 一 组 最 佳 的 动词 了 吗 ? je 
四 模块 中 使 用 完整 定义 的 语言 的 有 限 子 集 了 吗 ? 
® 使 用 了 适当 的 跳 转 语句 吗 ? 
。 存储 器 使 用 : 
”人 @@ 每 一 个 域 在 第 一 次 使 用 前 正确 地 初始 化 了 吗 ? 
名 规定 的 域 正确 吗 ? : 
@ 每 个 域 有 正确 的 变量 类 型 声明 吗 ? 
。 ”判断 和 和 转移: 
- _Q 判断 正确 的 条 件 了 吗 ? 
人 用 于 判断 的 是 正确 的 变量 吗 ? 
©@ 每 个 转移 目标 正确 并 全 少 执行 一 次 了 吗 ? 
es 性 能 ， . 
Q@ 逻辑 被 最 佳 地 编码 了 吗 ? 
@ 提供 正式 的 错误 /例外 子 程序 了 吗 ? 
。 可 维护 性 : . a 
QD QD 消 单 格式 适 于 提高 可 读 性 吗 ? 
@ 标号 和 子 程序 符合 代码 的 逻辑 意义 吗 ? 
e 逻辑 
QQ @ 全 部 设计 已 实现 了 吗 ? 
@ 代码 做 的 是 设计 规定 的 内 容 吗 ? 
@ 每 一 个 循环 执行 正确 的 次 数 了 吗 ? 
。 ”可靠 性 : 
Q@ 对 从 外 部 接口 采集 的 数据 有 确认 吗 ? 
@ 遵循 可 和 车 性 编程 要 求 了 吗 ? 
对 应 于 不 同 的 编程 语言 ， 代 码 缺 陷 检 查 表 的 具体 内 容 将 会 不 同 。 例 如 ， 针 对 广泛 使 
用 的 C/C++ 语言 ， 可 以 参照 表 6-3 所 示 的 代码 缺陷 检查 表 。 
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家 6-3 代码 缺陷 检查 表 


重要 性 | 


”| 头 文件 和 定义 文件 的 名 称 是 否 合理 | 
| 头 文件 和 定义 文件 的 目录 结构 是 否 合理 | 
”| 版权 和 版 本 声明 是 百 完 整 | 
重要 | 头 文件 是 否 使 用 了 ifndefdefine/endif 预 处 理 块 
”| 头 文件 中 是 否 只 存放 “声明 ”而 不 存放 “定义 ” . 


ss co 
| 空 行 是 否 得 体 
| 代码 行内 的 空格 是 否 得 体 | 
长 行 拆 分 是 否 得 体 
“{” 和 “}” 是 否 各 占 一 行 并 且 对 齐 于 同一 列 
一 行 代码 是 否 只 做 一 件 事 ? 如 只 定义 一 个 变量 ， 只 写 一 条 语句 
if、for、while、do 等 语句 自 占 一 行 ， 不 论 执行 语句 多 少 都 要 加 “{}” 
在 定义 变量 (或 参数 ) 时 ， 是 否 将 修饰 符 * 和 & 紧 党 变 是 名 
注释 是 否 消 晰 并 且 必 要 
注释 是 否 有 错误 或 者 可 能 导致 误解 
类 结构 的 public, protected, private 顺序 是 否 在 所 有 的 程序 中 保持 一 致 


As 
gd 


命名 规则 是 否 与 所 采用 的 操作 系统 或 开发 工具 的 风格 保持 一 致 

标识 符 是 否 直 观 且 可 以 拼 读 \ 
标识 符 的 长 度 应 当 符 合 “min-length && max-information” 原 则 

程序 中 是 否 出 现 相同 的 局 部 变量 和 全 部 变量 

类 名 、 函 数 名 、 变 量 和 参数 、 常 量 的 书写 格式 是 否 寺 循 一 定 的 规则 

朱 态 变量 、 全 局 变量 、 类 的 成 员 变 熏 是 否 加 前 级 “- 


如 果 代 码 行 中 的 运算 符 比较 多 , 是 否 已 经 用 括号 清楚 地 确定 表达 式 的 操 
作 顺 序 z z 
是 否 编写 太 复 杂 或 者 多 用 途 的 复合 表达 式 

是 否 将 复合 表达 式 与 “ 裔 正 的 数学 表达 式 ” 混 淆 

用 隐 含 错误 的 方式 写 话语 句 ? 例如 

(1) 将 布尔 变量 直接 与 TRUE、FALSE 或 者 1、0 进行 比较 
(2) 将 浮 点 变 是 用 “==” 或 “! =” 与 任何 数字 比较 

(3) 将 指针 变量 用 “==-” 或 “! =” 与 NULL 比较 
如 果 循 环 体内 存在 迎 辑 判断 ， 并 且 循 环 次 数 很 大 ， 是 否 已 经 将 逻辑 判断 
移 到 御 环 体 的 外 面  .. ee 


| 
问 


| | 取 阳 | | 卫 | 因 | | 四 | 攻 | 加 
吐 准 则 | | 燃 | 疯 | | 并 | 燃 [小 


功 


内 
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结论 
以 case 语句 的 结尾 是 否 忘 了 加 break 
式 与 是 否 忘记 写 switch 的 default 分支 


其 本 使 用 goto 语句 时 是 否 留 下 隐患 ? 例如 跳 过 了 某 些 对 象 的 构造 、 变 量 的 
语句 | 初始 化 、 重 要 的 计算 等 
pe =| 
| 是 否 使 用 含义 直观 的 常 重 来 表示 那些 将 在 程序 中 多 次 出 现 的 数字 或 字 | 
符 囊 
| 
量 
| ”| 参数 的 书写 是 否 完整 ? 不 要 贪图 省 事 只 写 参数 的 类 型 而 省 略 参数 名 字 _ 
Ws 
数 是 否 将 正常 值 和 错误 标志 混在 一 起 返回 ? 正常 值 应 当 用 输出 参数 获得 ， 
设 而 错误 标志 用 return 语句 返回 
 。 


是 否 滥 用 了 assert? 例如 混 清 非法 情况 与 错误 情况 ， 后 者 是 必然 存在 的 | 
并 且 是 一 定 要 作出 处 理 的 | 


| 是 否 使 用 const 提高 函数 的 健壮 性 ? const 可 以 强制 保护 函数 的 参数 、 返 
回 值 ， 甚 至 函数 的 定义 体 。“Use const whenever you need” 


用 malloe 或 new 申请 内 存 之 后 , 是 否 立即 检查 指针 值 是 否 为 NULL ( 防 
| 止 使 用 指针 值 为 NULL 的 内 存 ) 
是 否 忘 记 为 数组 和 动态 内 存 赋 初 值 (防止 将 未 被 初始 化 的 内 存 作 为 右 值 
使 用 ) 


是 否 修 改 “ 指 向 常量 的 指针 ”的 内 容 


嵌 哮 居于 
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中 a 湛 | 由 | 因 | 坞 六 耻 局 | 了 凤 | 轴 
闭 起 | 虐 | 并 问 


位 米 全国 


洋 刻 当 加 等 


诺 阁 澡 玫 号 状 


基 寺 送 
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续 表 
重要 性 结论 
是 否 出 现 野 指针 ， 例 如 

重要 | (1) 指针 变量 没有 被 初始 化 

(2) 用 free 或 delete 释放 了 内 存 之 后 ， 挡 记 将 指针 设置 为 NULL 
| 是 否 将 mailoc/free 和 new/delete 混淆 使 用 
重要 | malloc 语句 是 否 正确 无 误 ? 例如 字 节 数 是 否 正确 ? 类 型 转换 是 否 正 确 | 

要 | 在 创建 与 释放 动态 对 象 数组 时 ，new/delete 的 语句 是 否 正确 无 误 

2 
重 教 函 数 是 否 有 - 久 性 ”| 


闪 


是 否 混淆 了 成 员 函 数 的 重 载 、 役 盖 与 B 纺 
运算 符 的 重 载 是 否 符合 制定 的 编程 规范 
是 否 滥用 了 内 联 函 数 ? 例如 函数 体内 的 代码 比较 长 ,函数 体内 出 现 循环 _ 
是否 用 内 联 西数 取代 J 宏 代码 
Eee 
是 否 违背 编程 规范 而 让 C++ 编译 器 自动 为 类 产生 四 个 缺 省 的 函数 ， 
(1) 缺 省 的 无 参数 构造 函数 ，(2) 缺 省 的 拷贝 构造 函数 ，(3) 缺 省 的 析 
构 函 数 ，(4) 缺 省 的 赋值 函数 | 

构造 西数 中 是 否 巡 涧 了 某 些 初始 化 I 作 

_ 是 否 正确 地 使 用 了 构造 西数 的 初始 化 表 
要 _| 析 构 函 数 中 是 否 遗 洞 了 某 些 消除 T 作 

是否 错 写 、 错 用 了 持 贝 构造 函数 和 赋值 范 数 
赋值 函数 一 般 分 四 个 步骤 :1) 检查 自 赋值 : (2》 释 放 原 有 内 存 资源 : 
(3) 分 配 新 的 内 存 资源 ， 并 复制 内 容 ，(4) 返回 *this。 是 否 遗 漏 了 重 
要 步 对 
是 否 正确 地 编写 了 派生 类 的 构造 函数 、 析 构 函 数 、 贱 值 函数 ? 注意 事项 : 
(1) 派生 类 不 可 能 继承 基 类 的 构造 函数 、 析 构 函 数 、 冉 值 函数 
(2) 派生 类 的 构造 函数 应 在 其 初始 化 表 里 调用 基 类 的 构造 函数 
(3)》 基 类 与 派生 类 的 析 构 函 数 应 该 为 虚 〈 即 加 virtual 关键 字 ) 


站 


总 


要 


(4) 在 编写 派生 类 的 赋值 函数 时 ， 注 意 不 要 未 记 对 基 类 的 数据 成 员 重 新 
赋值 : 
La 
是 否 违 背 了 继承 和 组 合 的 规则 | 
(1) 若 在 逻辑 上 B 是 A 的 “一 种 "， 并 且 A 的 所 有 功能 和 属性 对 B 而 言 
都 有 意义 ， 则 允许 B 继承 A 的 功能 和 局 性 | 
(2) 若 在 逻辑 上 A 是 B 的 “一 部 分 ”(a part of)， 则 不 允许 B 从 A 派生 ， 
而 是 要 用 A 和 其 他 东西 组 合 出 B 


baa\ 
闪 
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重要 性 | 项 | 结论 
数据 类 型 问题 : ] 
(1) 变量 的 数据 类 型 有 错误 吗 
| (2) 存在 不 同 数 据 类 型 的 赋值 吗 
| (3) 存在 不 同 数 据 类 型 的 比较 吗 
| 变 县 值 问 题 ;: 
(1) 变量 的 初始 化 或 氧 省 值 有 错误 吗 
(2) 变量 发 生 上 混 或 下 溢 吗 
(3) 变 贡 的 精度 够 吗 
| 逻辑 判断 问题 ， 
(1) 由 于 精度 原因 导致 比较 无 效 吗 
(2) 表达 式 中 的 优先 级 有 误 吗 
(3) 逻辑 判断 结果 其 倒 吗 
| 循环 问题 
(1) 循环 终止 条 件 不 正确 吗 
(2) 无 法 正常 终止 ( 死 循环 ) 吗 
(3) 错误 地 修改 桂 环 变量 吗 
(4) 存在 误差 累积 吗 
| 错误 处 理 问 题 ; 
(1) 忘记 了 进行 错误 处 理 吗 
(2) 是 否 错误 处 理 程序 块 一 直 没 有 机 会 被 运行 
(3) 错误 处 理 程序 块 本 身 就 有 毛病 吗 ? 如 报告 的 错误 与 实际 错误 不 一 
致 ， 处 理 方式 不 正确 等 ; 
(4) 错误 处 理 程序 块 是 “马后炮 ” 吗 ? 如 在 被 它 被 调用 之 前 软件 已 经 | 
出 错 


赂 吾 间 车 诗 料 


文件 LO 问题 ， 
(1) 对 不 存在 的 或 者 错误 的 文件 进行 换 作 吗 


重要 | (2) 文件 以 不 正确 的 方式 打开 了 吗 
(3) 文件 结束 判断 不 正确 吗 
(4) 没有 正确 地 关闭 文件 吗 


6.2.2 ”表态 结构 分 析 法 
程序 的 结构 形式 是 白 盒 测试 的 主要 依据 。 研 究 表明 程序 员 38% 的 时 间 花 费 在 理解 软 
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件 系 统 上 ， 因 为 代码 以 文本 格式 被 写 入 多 重文 件 中 ， 这 是 很 难 阅读 理解 的 ， 需 要 其 他 一 
些 东 西 来 帮助 人 们 阅读 理解 ， 如 各 种 图 表 等 ， 而 静态 结构 分 析 满足 了 这 样 的 需求 。 

在 静态 结构 分 析 中 ， 测 试 者 通过 使 用 测试 工具 分 析 程序 源 代码 的 系统 结构 、 数 据 结 
构 、 数 据 接口 、 内 部 控制 逻辑 等 内 部 结构 ， 生 成 函数 调用 关系 图 、 模 块 控制 流 图 、 内 部 
文件 调用 关系 图 、 子 程序 表 、 宏 和 函数 参数 表 等 各 类 图 形 图 表 ， 可 以 清晰 地 标识 整个 软 
件 系统 的 组 成 结构 ， 使 其 便于 阅读 与 理解 ， 然 后 可 以 通过 分 析 这 些 图 表 ， 检 查 软件 有 没 
有 存在 缺陷 或 错误 。 

其 中 函数 调用 关系 图 通过 应 用 程序 中 各 函数 之 间 的 调用 关系 展示 了 系统 的 结构 。 通 
过 查看 函数 调用 关系 图 ， 可 以 检查 函数 之 间 的 调用 关系 是 否 符合 要 求 ， 是 否 存在 递归 调 
用 ， 函 数 的 调用 层次 是 否 过 深 ， 有 没有 存在 孤立 的 没有 被 调用 的 函数 。 从 而 可 以 发 现 系 
统 是 否 存在 结构 缺陷 ， 发 现 哪 些 函数 是 重要 的 ， 哪 些 是 次 要 的 ， 需 要 使 用 什么 级 别 的 履 


模块 控制 流 图 是 与 程序 流程 图 相 类 似 的 由 许多 节点 和 连接 结 点 的 边 组 成 的 一 种 图 
形 , 其 中 一 个 节点 代表 一 条 语句 或 数 条 语句 (图 中 的 各 种 图 形 符号 代表 不 同 的 意义 ), 边 
表示 节点 间 的 控制 流向 ， 它 显示 了 一 个 函数 的 内 部 逻辑 结构 。 如 图 6-5 所 示 是 测试 工具 
Logiscope 所 使 用 的 基本 图 例 ， 如 图 6-6 (a)、(b)、(c) 所 示 是 典型 逻辑 结构 所 对 应 的 控 
制 流 图 基本 结构 。 
模块 控制 流 图 可 以 直观 地 反映 出 一 个 消 数 的 内 部 逻辑 结构 ， 通过 检查 这 些 模块 控制 

流 图 ， 能 够 很 快 发 现 软件 的 错误 与 缺陷 。 


| 一 条 或 多 条 语句 X a 
逻辑 判断 语句 : 

S (开始 逻辑 控制 结构 ) 八 结束 逻辑 控制 结构 

ee : : Uy 包含 函数 调用 


图 6-5 Logiscope 基本 图 例 
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和 if then-end A、 | RR then-else-end if 
人 A, i Wh 人 > 


case of-end of case A 人 A CC) 


while-do-end of 
infinite SELECTIVE STRUCTURES 
ITERATIVE STRUCTURES if AAA ff 
(a) (b) 
branch conditional branch 


main entry/auxiliary entry auxiliary exit main exit 
SPECIFIC STRUCTURES 
(c) 
图 6-6 ”控制 流 图 基本 结构 
例如 : 如 图 6-7 所 示 是 某 GIS 软件 中 某 个 函数 的 模块 控制 流 图 。 


人 A 


6-7 ”GIS 模块 控制 流 图 


www.TopSage.com 


第 6 章 白 食 测 试 技术 175 


该 函数 的 结构 存在 重大 人 缺陷， 首先 ， 我 们 可 以 看 到 在 该 函数 中 存在 无 法 执行 的 死 代 
码 ， 即 图 中 最 右边 的 孤立 出 口 。 其 次 ， 该 函数 有 多 达 8 个 出 口 ， 其 中 一 个 属于 无 法 到 达 
的 出 口 。 由 于 可 能 没有 在 所 有 的 出 口 进行 动态 内 存 的 释放 与 回收 操作 ， 因 此 这 样 的 结构 
存在 内 存 泄漏 的 可 能 。 

如 图 6-8 所 示 是 某 MIS- 软件 中 某 个 函数 的 模块 控制 流 图 。， 


图 6-8 MIS 模块 控制 流 图 


该 函数 的 结构 也 同样 存在 重大 缺陷 ; 

首先 ， 该 函数 有 多 个 出 口 ， 存 在 内 存 泄漏 的 可 能 。 其 次 ， 该 函数 结构 复杂 ， 有 超过 
10 个 逻辑 判断 结 点 ， 在 这 些 结 点 上 出 现 逻 辑 错误 的 概率 将 大 大 增加 ， 将 降低 其 可 靠 性 ， 
而 且 过 多 的 逻辑 判断 结 点 可 能 会 破坏 对 CPU 操作 进行 优化 的 处 理 ， 影响 其 运行 性 能 。 


6.2.3 ”静态 质量 度量 法 


根据 ISO/IEC 9126 国际 标准 的 定义 ， 软件 的 质量 包括 以 下 六 个 方面 
功能 性 (FUNCTIONALITY ); 

可 靠 性 (RELIABILITY ); 

可 用 性 (USABILITY ); 

有 效 性 〈EFFICIENCY); 

可 维护 性 (MAINTAINABILITY ); 

轻便 性 (PORTABILITY )。 

以 ISO 9126 质量 模型 作为 基础 , 我 们 可 以 构造 质量 度量 模型 ， 用 于 评估 软件 的 每 个 
方面 。 例 如 ， 按 以 下 方法 构造 的 质量 模型 可 以 度量 程序 的 可 维护 性 (maintainability )。 
首先 ， 该 模型 从 上 到 下 分 为 3 层 ; 质量 因素 (factors)、 分 类 标准 《criteria〉 和 度量 规则 
《metrics)。 其 中 质量 因素 对 应 ISO 9126 质量 模型 的 质量 特性 ， 分 类 标准 对 应 ISO 9126 
质量 模型 的 子 特性 ， 度量 规则 用 于 规范 软件 的 各 种 行为 属性 。 其 次 ， 按 以 下 方式 定义 各 
参数 及 计算 公式 。 
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se ”度量 规则 (Metrics)。 
度量 规则 使 用 了 代码 行 数 、 注 科 频 度 等 参数 度 和 软件 的 各 种 行为 性 具体 参数 定 
义 如 表 6-4 所 示 。 


瑞 64 度量 规则 参数 甫 


简称 最 大 值 
PARA Numberoffunctionparameters | 0 | ;5 
PATH Nmberofpets | 80 
LEVL 4 
DRCT CALLS ed 7 
RETU NumberofRETURNstaements | 0 | 1 
NBCALLING |Numberofcallers | 0 | ;5 
GOTO |NumberofGOTOstatements | 0 | 0 
VOCF [Vocabulay frequency | 1 | 4 
LVAR Numberoflocalvariables | 0 | ;s 
COMF [Commensfoqoney | 0 | ~ 
AVGS | Averagesizeofstiatements | 1 | ， 
STMT Numberofstatements | 1 | 50 

_VvG Cyclomaticnumber(VG) -| 1 | 1 
IND CALLS |Numberofrelativecallgraphcali-paths | 1 | 3 
TESTBTY Relative call graph Sysien tesabiliy 中 | 1 
HIER CPX |RelativecallgraphHierarchicalcomplexity | 1 | 5 
LEVELS | Number ofrelativecallgraphlevels -| 1 .| :2 
STRU CPX |RelativecallgraphStucturalcomplexiy | 0 | ;3 
DDP DCeoveragemte | 。 | ao 
IB | SCeoveragerte | 0° | i 
PPP Procedure-to-Procedure Path coverangerate | 0 | 100 


e ”分 类 标准 (criteria)。 
软件 的 可 维护 性 采用 以 下 四 个 分 类 标准 来 评估 : 
.@ 可 分 析 性 (ANALYZABILITY) 
@ 可 修改 性 (CHANGEABILITY) 
-图 稳定 性 (STABILITY) 
”四 可 测 性 (TESTABILITY). 
每 个 分 类 标准 由 一 系列 度量 规则 组 成 ， 各 个 规则 分 配 一 个 权重 ， 由 规则 的 取 值 与 权 
重 值 计 算出 每 个 分 类 标准 的 取 值 。 各 分 类 标准 组 成 如 表 6-5 所 示 。 
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表 6-5 分 类 标准 组 
分 类 标准 度量 规则 权 重 


: 


hill 


ES eh FE Cn aa 和 2 [= LL > , = ee [上 ES Ee. Ne = ss pm em FE ni 


PA 
E 
DRCT_CALLS 


= 


function TESTABILITY 


S 


DRCT CALLS 
function STABILITY 


NBCALLING 
GOTO 


function CHANGEABILITY 
本 LVAR 


COMF 
AVGS 


四 


function ANALYZABILIIY 


A 


LEVELS 
STRU_CPX 
HIER_CPX 
IND_CALLS 
IND CALLS - 
TESTBTY 


各 分 类 标准 的 结果 按 以 下 标准 区 分 等 级 ， 如 表 6-6 至 表 6-12 所 示 。 
function TESTABILITY =DRCT CALLS+ LEVL + PATH + PARA 


relativeCall ANALYZABILITY 
relativeCall STABILITY 


relativeCall TESTABILITY 


家 6-6 function_ TESTABILITY 的 等 级 划分 


function STABILITY =NBCALLING +RETU +DRCT CALLS+PARA | 
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表 67 funetion_ STABILITY 的 等 级 划分 


function CHANGEABILITY = PARA + LVAR + VOCF + GOTO 


表 6-8 function_ CHANGEABILITY 的 等 级 划分 


relativeCall ANALYZABILITY = STRU CPX + LEVELS 


家 6-10 relativeCall ANALYZABILITY 的 等 级 划分 


等 级 描述 | 上 限 下 限 
EXCELLENT | 2 2 
GOOD [I I 


POOR [| 0 
relativeCall STABILITY = CALL PATHS + HIER CPX 


表 6-11 relativeCall_STABILITY 的 等 级 划分 


等 级 描述 下 限 
EXCELLENT | 2 2 
GOOD [Le 
BooR 。 | -| 0 


relativeCall TESTABILITY =TESTBTY + CALL_PATHS 
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表 6-12 relativeCall_TESTABILITY 的 等 级 划分 


等 级 描述 ”下限 
EXCELLENT | 2 
GOOD i 1 
_ POOR 0 0 


这 样 ， 依 据 这 些 标 准 和 最 终 测试 结果 ， 可 将 代码 的 质量 分 成 四 个 等 级 。 

@ 优秀 (EXCELLENT): 符合 本 模型 框架 中 的 所 有 规则 。 

@ 良好 (GOOD): 未 大 量 偏离 模型 框架 中 的 规则 。 

@ 一 般 (FAIR); 违背 了 模型 框架 中 的 大 量规 则 。 

@ 较 差 (POOR): 无 法 保障 正常 的 软件 可 维护 性 。 

其 中 前 三 者 被 认为 是 可 以 接受 的 ， 最 后 一 个 等 级 则 是 不 可 接受 的 。 
“ 。 质量 因素 (factors)。 

质量 因素 的 取 值 与 分 类 标准 的 计算 方式 相似 ， 依据 各 分 类 标准 取 值 组 合 权重 方法 来 

计算 ， 如 表 6-13 所 示 。 


农 6-13 质量 因素 权重 计算 家 


EE 区 于 
CR 
rivecalMAINTAINABILITY 

elnivecall ANALYZABLrTY | 


同样 ， 依 据 质 量 因 素 取 值 ， 也 将 其 分 成 四 个 等 级 优秀 (EXCELLENT)、 良 好 
(GOOD)、 一 般 (FAR) 和 较 差 (POOR)， 其 中 前 三 者 被 认为 是 可 以 接受 的 ， 最 后 一 个 
等 级 则 是 不 可 接受 的 。  ， JS 

如 表 6-14 和 表 6-15 所 示 为 function_MAINTAINABILITY 和 relative Call MINTA- 
INABILITY 的 等 级 划分 。 


function MAINTAINABILITY = function ANALYZABILITY 
+ function CHANGEABILITY 
+ function_STABILITY 
+ function TESTABILITY 


et 上 bi 上 bs 上 ah 上 
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填 6-14 function_MAITAINABILITY 的 等 级 划分 
等 级 描述 ”| 上 限 | 下 限 | 等 级 描述 下 限 
EXCELLENT | 12 | 12 | FR | 4 | 7 
GooD | 8 | nu | roor | 0 3 
~ TelativeCall MAINTAINABILITY = relativeCall ANALYZABILITY - 
+relativeCall_ STABILITY 
+relativeCall TESTABILITY 


表 6-15 relativeCall MAINTAINABILITY 的 等 级 划分 
等 级 描述 等 级 描述 下 限 
EXCELLENT | 6 | 6 | FR | 1 3 
GOOD 4 | 5 | ror | 0 0 


将 上 述 质量 异型 应 用 于 被 测 程序 后 ， 就 可 以 通过 量化 的 数据 对 软件 的 质量 进行 评 
全 了 。 wa 站 
6.2.4 ”逻辑 轿 盖 法 

白 盒 测 试 的 动态 测试 要 根据 程序 的 控制 结构 设计 测试 用 例 ， 其 原则 是 : 

。 保证 一 个 模块 中 的 所 有 独立 路 径 至 少 被 使 用 一 次 ; 

e ”对 所 有 逻辑 值 均 需 测试 tue 和 false: 

ea。 在 上 下 边界 及 可 操作 范围 内 运行 所 有 循环 ;. 

。 ”检查 内 部 数据 结构 以 确保 其 有 效 性 。 

但 是 对 一 个 具有 多 重 选择 和 循环 嵌 套 的 程序 ， 不 同 的 路 径 数 目 可 能 是 天 文 数字 。 而 
且 即 使 精确 地 实现 了 和 白 盒 测试 ， 也 不 能 断言 测试 过 的 程序 完全 正确 。 如 图 6-9 所 示 的 穷 
举 测试 流程 图 ， 其 中 包括 了 一 个 执行 达 20 次 的 循环 ， 它 所 包含 的 不 同 执行 路 径 数 商 达 
5” 条 ， 假 使 有 这 么 一 个 测试 程序 ， 对 每 一 条 路 径 进行 测试 需要 1ms， 假 设 一 天 工作 
24 小 时 ， 一 年 工作 365 天 ， 者 要 对 它 进 行 穷 举 测 试 ， 也 和 需要 3024 年 的 时 间 。  . 

以 上 的 情况 说 明 ， 实 现 穷 举 测试 的 工作 最 过 大 ， 和 需要 的 时 间 过 长， 实施 起 来 是 不 现 
实 的 。 任 何 软 件 开 发 项 目 都 要 受到 期 限 、 费用 、 人 力 和 机 时 等 条 件 的 限制 ， 尽 管 我 们 以 
为 为 了 充分 揭露 程序 中 的 所 有 隐藏 错误 ， 彻 底 的 做 法 是 针对 所 有 可 能 的 数据 进行 测试 ， 
但 事实 告诉 人 们 ， 这 样 做 是 不 可 能 的 。 

在 测试 阶段 既然 穷 举 测试 不 可 行 ， 为 了 节省 时 间 和 资源 ， 提 高 测试 效率 ， 就 必须 精 
心 设计 测试 用 例 ， 也 就 是 从 数量 巨大 的 可 用 测试 用 例 中 精心 挑选 少量 的 测试 数据 ， 使 得 
采用 这 些 测 试 数据 就 能 够 达到 最 佳 的 测试 效果 。 
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图 6-9 ” 旁 举 测试 


本 节 和 下 节 将 介绍 几 种 实用 的 白 盒 测试 用 例 设 计 方 法 ， 运 辑 响 盖 法 和 基本 路 径 测 
逻辑 履 盖 是 通过 对 程序 逻辑 结构 的 凯 有 历 实 现 程序 的 覆盖 。 它 是 一 系列 测试 过 程 的 _ 
总 称 ， 这 组 测试 过 程 逐 渐进 行 越 来 越 完整 的 通路 测试 。 从 覆盖 源 程序 语句 的 详尽 程度 分 
析 ， 运 辑 履 盖 标 准 包 括 以 下 不 同 的 获 盖 标准 ， 语 名 覆盖 《SC)、 判 定 履 盖 《DC)、 条 件 
履 姜 (CC)、 条 件 判定 组 合 轩 盖 《CDC)、 多 条 件 履 盖 (MCC) 和 修正 判定 条 件 覆 盖 
(MCDC), : ; 

为 便于 理解 ， 我 们 使 用 如 下 所 示 的 程序 〈 用 C 语言 书写 )， 如 图 6-10 所 示 的 是 其 流 
程 图 。 

[程序 ]: 


int functionl(bool a, bodl b, bool c) 
{ 
int x; 
X= 10; 
if(a&&(bllc)) 
x= 1; 
return xX; 


} 
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图 6-10 参考 例子 流程 图 


1， 语句 覆盖 (SC) 

为 了 暴露 程序 中 的 错误 ， 程序 中 的 每 条 语句 择 少 应 该 执行 一 次 。 因此 ， 语 句 针 盖 
(Statement -Coverage) 的 合 义 是 : a 使 被 测 程序 中 每 条 语句 至 少 
执行 一 次 。 

为 了 使 上 述 程序 中 的 每 条 语句 者 能 够 至 少 执行 一 次 ， 我 们 可 以 移 抬 以 下 测试 用 例 即 
可 实现 :. 

a=T, b=T, c=T,。 

从 程序 中 的 每 条 语句 都 得 到 执行 这 一 点 看 ， 语 句 履 盖 的 方法 似乎 能 够 比较 全 面 地 检 
验 每 一 条 语句 ， 但 是 语句 覆盖 对 程序 执行 远 辑 的 畴 盖 很 低 ， 这 是 其 最 严重 的 缺陷 。. 

假如 ， 这 一 程序 段 中 判定 的 逻辑 运算 有 问题 ， 例 如 ， 判 定 的 第 一 个 运算 符 “&&” 
错 写成 运算 符 “||"”， 或 第 二 个 运算 符 “||” 错 写成 运算 符 “&&”"， 这 时 使 用 上 述 的 测试 用 
例 仍然 可 以 达到 100% 的 语句 置 盖 ， 上 述 的 逻辑 错误 无 法 发 现 。 

因此 一 般 认 为 语句 轩 盖 是 很 弱 的 逻辑 履 盖 。 

2. 判定 禾 瘟 (DC) 

比 语 名 覆盖 稍 强 的 覆盖 标准 是 判定 响 盖 〈Decision Coverage)。 判 定 团 盖 的 含义 是 ; 
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设计 足够 的 测试 用 例 ， 使 得 程序 中 的 每 个 判定 至 少 都 获得 一 次 “ 真 值 ” 或 “ 假 值 ”或 者 
说 使 得 程序 中 的 每 一 个 取 “ 真 ”分 支 和 取 “ 假 ”分 支 至 少 经 历 一 次 ， RE 
为 分 支 习 盖 。 

除了 双 值 的 判定 语句 外 ， 还 有 多 值 判 定语 句 ， 如 case 语句 ,因此 判定 嫉 盖 更 一 般 的 
含义 是 : 使 得 每 一 个 判定 获得 每 一 种 可 能 的 结果 至 少 一 次 。 

以 上 述 代 码 为 例 ， 构造 以 下 测试 用 例 即 可 实现 判定 要 盖 标准 

ee a=T, b=T, c=T。 

°° a=F, b=F, c=F.。 

应 该 注意 到 ， 上 述 两 组 测试 用 例 不 仅 满足 了 判定 团 盖 ， 而 且 满足 了 语句 驾 盖 ， 从 这 
一 点 看 ， 判 定 颖 盖 要 比 语句 覆盖 更 强 一 些 。 但 是 同样 地 ， 假 如 这 一 程序 段 中 判定 的 逻辑 
运算 有 问题 ， 如 表 6-16 所 示 ， 判 定 的 第 一 个 运算 符 “&&&” 错 写成 运算 从 “|| ”或 第 二 个 
运算 符 “|” 错 写成 运算 符 “&&”， 这 时 使 用 上 述 的 测试 用 例 可 以 达到 100% 的 判定 镍 盖 ， 
仍然 无 法 发 现 上 述 的 逻辑 错误 。 因 此 需要 更 强 的 逻辑 入 盖 标 准 。 / 


家 6-16 判定 收益 


序号 a 判定 更 盖 /% 
LT ,| 7T 


3. 条 件 禾 和 蓝 〈CC) 

在 设计 程序 中 , 一 个 判定 语句 是 由 多 个 条 件 组 合 而 成 的 复合 判定 ， 在 如 图 6-10 所 示 
参考 例子 流程 图 的 程序 中 ， 判 定 (a) AND (b OR c) 包含 了 三 个 条 件 : a, b 和 c。 为 了 
更 彻底 地 实现 逻辑 必 益 ， 可 以 采用 条 件 轩 亲 《Condition Coverage〉 的 标准 。 条 件 习 盖 的 
含义 是 ; 构造 一 组 测试 用 例 , 使 得 每 一 判定 语句 中 每 个 逻辑 条 件 的 可 能 值 至 少 满足 一 次 。 

按照 这 一 定义 ， 上 述 例子 要 达到 100% 的 条 件 术 盖 ， 可 以 使 用 以 下 测试 用 例 : 

e a=F, b=T, c=F。 

ee a=T, b=F, c=T. 

仔细 分 析 可 以 发 现 , 上 述 用 例 在 满足 条 件 履 盖 的 同时 , 把 判定 的 两 个 分 支 也 萎 盖 了 ， 
这 样 是 否 可 以 说 ， 达 到 了 条 件 福 次 也 束 必 然 实 现 了 判定 发 次 呢 ? 

假如 选用 以 下 的 两 组 测试 用 例 : 

e a=F, b=T, c=T。 

ee a=T, b=F, c=F.。 

我 们 会 发 现 禾 盖 了 条 件 的 测试 用 例 并 没有 禾 盖 分 支 如 表 6-17 所 示 。 为 解决 这 一 
盾 ， 需 要 对 条 件 和 分 支 若 顾 。 
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表 6-17 人 条件 杜 盖 


4. 条 件 判 定 组 合 履 盖 〈CDC) 

条 件 判 定 组 合 团 盖 的 含义 是 ， 设计 足够 的 测试 用 例 ， 使 得 判定 中 每 个 条 件 的 所 有 可 
能 〈 真 / 假 ) 至 少 出 现 一 次 ， 并 且 每 个 判定 本 身 的 判定 结果 ( 真 / 假 〉 也 至 少 出 现 一 次 。 

对 于 如 图 6-10 所 示 的 例子 ， 选 用 以 下 的 两 组 测试 用 例 可 以 符合 条 件 判 定 组 合 畦 盖 
0 a=T, b=T, c=T,. 

® A=F, b=F, c¢=F,。 

但 是 条 件 判定 组 合 覆 盖 也 存在 一 定 的 缺陷 ， 例 如 ， 判 定 的 第 一 个 运算 符 “&&” 错 
写成 运算 符 “| ”或 第 二 个 运算 符 " 咱 ” 错 写成 运算 符 “&&&”， 如 表 6-18 所 示 ， 这 时 使 用 
上 述 的 测试 用 例 仍然 可 以 达到 100% 的 条 件 判定 组 合 团 盖 ， 上 述 的 逻辑 错误 无 法 发 现 。 


囊 6618 条 件 判定 组 合 履 瘟 \ 
aS ble) (bet) | 条 件 判定 组 合 覆 盖 /% 


$， 多 条 件 覆 次 (MCC) 

多 条 件 屠 盖 也 称 条 件 组 合 履 盖 ， 它 的 含义 是 ， 设 计 足 够 的 测试 用 例 ， 使 得 每 个 判定 
中 条 件 的 各 种 可 能 组 合 都 至 少 出 现 一 次 。 显 然 满 足 多 条 件 禾 盖 的 测试 用 例 是 一 定 满足 判 
定 著 盖 、 条 件 覆 次 和 条 件 判定 组 合 萎 次 的 。 

对 于 如 图 6-19 所 示 的 例子 ， 判定 语句 中 有 三 个 逻辑 条 件 ， 每 个 逻辑 条 件 有 两 种 可 能 
取 值 ， 因 此 共有 2 =8 种 可 能 组 合 ， 如 家 6-19 所 示 的 测试 用 例 保 证 了 多 条 件 姥 盖 。 


 ” 训 6-19 多 条 件 政 盖 
序号 | aa | bb | e | a&&(bje) 
I T 
2 LT 1 EE T 
3 | 和 T 
4 = 上 E 
- LE ee F 
6 i F 
7 OE EE ES: F 
8 | | BO F 
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由 上 可 知 ， 当 一 个 程序 中 判定 语句 较 多 时 ， 其 条 件 取 值 的 组 合 数目 是 非常 大 的 。 

6. 修正 条 件 判 定 覆 盖 〈MCDC ) 

修正 条 件 判 定 覆 盖 是 由 欧美 的 航空 /航天 制造 厂商 和 使 用 单位 联合 制定 的 “航空 运输 
和 装备 系统 软件 认证 标准 ”目前 在 国外 的 国防 、 航 空 航天 领域 应 用 广泛 。 这 个 禾 盖 度量 
需要 足够 的 测试 用 例 来 确定 各 个 条 件 能 够 影响 到 包含 的 判定 的 结果 。 它 要 求 满足 两 个 条 
件 : 首先 ， 每 一 个 程序 模块 的 入 口 和 出 口 点 都 要 考虑 至 少 要 被 调用 一 次 ， 每 个 程序 的 判 
定 到 所 有 可 能 的 结果 值 要 至 少 转换 一 次 ; 其 次 ， 程 序 的 判定 被 分 解 为 通过 逻辑 操作 符 
(and、or) 连接 的 bool 条 件 ， 每 个 条 件 对 于 判定 的 结果 值 是 独立 的 。 

对 于 如 图 6-10 所 示 的 例子 ， 可 以 设计 如 表 6-20 中 的 8 个 用 例 ， 在 此 基础 上 ， 按 照 
MCDC 的 要 求 选 择 需 要 的 用 例 。、 


表 6-20 ”修正 条件 判定 覆盖 


所 | a | bb | ee | agglble) | a | bb | <¢ 
LI|T | 7 | 7 | T | 5 | 
I 
3 | 7 | | 7 | 7T | 7 | | 4 
| | 国 和 
5 | FT LT FF LU 
6|F|T | F | °F | 2 | 
7 | FF | FF IT | FF | 3 | : 
| FF | FF | Fr | FF | | 


从 表 中 我 们 可 以 看 出 ,布尔 变量 a 可 以 通过 用 例 1 和 5 达到 MCDC 的 要 求 (用 例 2 
和 6 或 用 例 3 和 7 也 可 以 满足 相应 要 求 )， 变 量 b 可 以 通过 用 例 2 和 4 达到 MCDC 的 要 
求 ， 变 量 c 可 以 通过 用 例 3 和 4 达到 MCDC 的 要 求 ， 因 此 使 用 用 例 集 {1，2，3，4，5} 
即 可 满足 MCDC 的 要 求 。 显 而 易 见 ， 这 不 是 惟一 的 用 例 组 合 。 


6.2.5 基本 路 径 测试 法 


上 节 的 例子 是 个 比较 简单 的 程序 段 只 有 两 条 路 径 。 但 在 实际 问题 中 ， 一 个 不 太 复 
杂 的 程序 ， 其 路 径 的 组 合 都 是 一 个 庞大 的 数字 。 如 图 6-9 所 示 的 穷 举 测 试 程序 况 有 6 
条 路 径 ， 要 在 测试 中 覆盖 这 样 多 的 路 径 是 不 现实 的 。 

为 解决 这 一 难题 ， 需 要 把 署 盖 的 路 径 数 压缩 到 一 定 限度 内 ， 例 如 ， 程 序 中 的 循环 体 
只 执行 一 次 。 本 节 介 绍 的 基本 路 径 测试 就 是 这 样 一 种 测试 方法 ， 它 在 程序 控制 流 图 的 基 
础 上 ， 通 过 分 析 控 制 流 图 的 环 路 复杂 性 ， 导 出 基本 可 执行 路 径 的 集合 ， 然 后 据 此 设计 测 
试用 例 。 设 计 出 的 测试 用 例 要 保证 在 测试 中 程序 的 每 一 条 可 执行 语句 至 少 执行 一 次 。 
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1. 程序 的 控制 流 图 z 

控制 流 图 是 描述 程序 控制 流 的 一 种 图 示 方 式 。 其 中 基本 的 控制 结构 对 应 的 图 形 符号 
如 图 6-11 所 示 。 在 如 图 6-11 所 示 的 图 形 符号 中 ， 圆 图 称 为 控制 流 图 的 一 个 结 点 ， 它 表 
示 一 个 或 多 个 无 分 支 的 语句 或 源 程序 语句 。 


顺序 结构 IF 选择 结构 WHILE 循环 结构 CASE 多 分 支 结构 
和 z ” ”UNTIL 循环 结构 | 
”图 6.11 控制 流程 图 的 图 形 符号 , 
如 图 6-12 (a) 所 示 的 是 一 个 程序 的 流程 图 , 它 可 以 映射 成 如 图 6-12 (b) 所 示 的 控 
制 流程 图 。 i 有 


《a) 程序 流程 图 (b) 控制 流程 图 
图 6-12 程序 流程 图 和 对 应 的 控制 流程 图 
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这 里 我 们 假定 在 流程 图 中 用 次 形 框 表示 的 判定 条 件 内 没有 复合 条 件 ， 而 一 组 顺序 处 
理 框 可 以 映射 为 一 个 单一 的 结 点 。 控 制 流 程 图 中 的 箭头 〈 边 ) 表示 了 控制 流 的 方 同 ， 类 
似 于 流程 图 中 的 流 线 ， 一 条 边 必 须 终止 于 一 个 结 点 ， 但 在 选择 或 者 是 多 分 支 结 构 中 分 支 
的 汇聚 处 ， 即 使 汇聚 处 没有 执行 语句 也 应 该 添加 一 个 汇聚 结 点 。 边 和 结 点 图 定 的 部 分 叫 
区 域 ， 当 对 区 域 计 数 时 ， 图 形 外 的 部 分 也 应 记 为 一 个 区 域 。 

如 果 判 断 中 的 条 件 表达 式 是 复合 条 件 ， 即 条 件 表达 式 是 由 一 个 或 多 个 逻辑 运算 符 
(or、and、nand 和 nor) 连接 的 逻辑 表达 式 ， 则 需要 改变 复合 条 件 的 判断 为 一 系列 只 有 
单个 条 件 的 幅 套 的 判断 。 例 如 ， 对 应 如 图 6-13 所 示 的 复合 逻辑 下 的 控制 流 图 〈a) 的 复 
合 条 件 的 判定 ， 应 该 画 成 如 图 6-13 (b) 所 示 的 控制 流 图 。 家 人 症 风 if a and b 中 条 件 a 
和 条 件 b 各 有 一 个 只 有 单个 条 件 的 判断 结 点 。 


《3) 


图 6-13 ”复合 逻辑 下 的 控制 流 图 . 

2. 程序 环 路 复杂 性 

程序 的 环 路 复杂 性 即 McCabe 复杂 性 度量 ， 在 进行 程序 的 基本 路 径 测 试 时 ， 从 程序 
的 环 路 复杂 性 可 导出 程序 基本 路 径 集 合 中 的 独立 路 径 条 数 ， 这 是 确保 程序 中 每 个 可 执行 
语句 至 少 执行 一 次 所 必须 的 测试 用 例 数 目的 上 界 。 

独立 路 径 是 指 包括 一 组 以 前 没有 处 理 的 语句 或 条 件 的 一 条 路 径 。 从 控制 流 图 来 看 ， 
一 条 独 谤 路 径 是 至 少 包含 有 一 条 在 其 他 独立 路 径 中 从 末 有 过 的 边 的 路 径 。 例 如 ， 在 如 
图 6-12 (b) 中 所 示 的 控制 流 图 中 ， 一 组 独立 的 路 径 如 下 ; 

pathl: 1 一 11; 

path2，1 一 2 一 3 一 4 一 5 一 10 一 1 一 11; 

path3: 1 一 2 一 3 一 6 一 8 一 9 一 10 一 1 一 11; 

path4，1 一 2 一 3 一 6 一 7 一 9 一 10 一 1 一 11。 
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从 此 例 中 可 知 ， 一 条 新 的 路 径 必 须 包 含有 一 条 新 边 。 路 径 1 一 2 一 3 一 4 一 5 一 10 一 
1 一 2 一 3 一 6 一 8 一 9 一 10 一 1 一 11 不 能 作为 一 条 独立 路 径 ， 因 为 它 只 是 前 面 已 经 说 明了 的 
路 径 的 组 合 ， 没 有 通过 新 的 边 。 

. 路径 path1、path2、path3 和 path4 组 成 了 如 图 6-12 (b) 所 示 控 制 流 图 的 一 个 基本 路 
径 集 。 只 要 设计 出 的 测试 用 例 能 够 确保 这 些 基 本 路 径 的 执行 ， 就 可 以 使 得 程序 中 的 每 个 
可 执行 语 甸 至少 执 行 一 次 ， 每 个 条 件 的 取 真 和 取 假 分 支 也 能 得 到 测试 。 基 本 路 径 集 不 是 
惟一 的 ， 对 于 给 定 的 控制 流 图 ， 可 以 得 到 不 同 的 基本 路 径 集 。 | 

通常 环 路 复杂 性 还 可 以 简单 地 定义 为 控制 流 图 的 区 域 数 。 这 样 对 于 如 图 6-12 (b) 
所 示 的 控制 流 图 ， 它 有 4 个 区 域 ， 环 路 复杂 性 V(G) = 二 4， 它 是 构成 基本 路 径 集 的 独立 
路 径 数 的 上 界 ， 可 以 据 此 得 到 应 该 设计 的 测试 用 例 的 数目 。 

3. 基本 路 径 测试 法 步骤 

基本 路 径 测 试 法 适用 于 模块 的 详细 设计 及 源 程序 ， 其 主要 步骤 如 下 : 

。 ”以 详细 设计 或 源 代码 作为 基础 ， 导 出 程序 的 控制 流 图 ; 

。 计算 得 到 的 控制 流 图 G 的 环 路 复杂 性 V(G); 

。 ”确定 线性 无 关 的 路 径 的 基本 集 ; 

。 ”生成 测试 用 例 ， 确 保 基 本 路 径 集 中 每 条 路 径 的 执行 。 

下 面 以 一 个 求 平均 值 的 过 程 averagy 为 例 ， 说 明 测试 用 例 的 设计 过 程 。 用 PDL 语言 
-描述 的 averagy 过 程 如 下 所 示 。 


PROCEDURE averagy; 
* This procedure computes the average of 100 or fewer numbers that lie bounding values; it also 
computes the total input and the total vajid. 
INTERFACE RETURNS averagy, total.input, total,valid; 
INTERFACE ACCEPTS value, minimum, maximum; 
TYPE value[f1:100] IS SCALAR ARRAY, | 
TYPE averagy, total.input total.valid, minimum, maximum, sum lS SCALAR; 
TYPE i 1S INTEGER; 
i= l: 
total.input = total,valid = 0; 
sum= 0; 
DO WHILE value[i] 一 -999 AND total.input < 100 
increment total.input by ]; 
IF value[i] >= minimum AND value[i] <= maximum 
THEN increment total.valid by 1; 
sum = sum + value[i]; 
ELSE skip,; 
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ENDIF; 
increment i by 1; 
ENDDO 
IF total.valid > 0 
THEN averagy = sum/total.valid; 
ELSE averagy = -999; 
ENDIF 
END avergy 


(1) 以 详细 设计 或 源 代码 作为 基础 ， 导 出 程序 的 控制 流 图 
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利用 在 如 图 6-11 所 示 的 控制 流 图 的 图 形 符号 、 如 图 6-12 所 示 的 程序 流 图 和 对 应 的 
控制 流 图 和 如 图 6-13 所 示 的 复合 逻辑 下 的 控制 流 图 给 出 的 符号 和 构造 规则 生成 控制 流 
图 。 对 于 上 述 过 程 ， 对 将 要 映射 为 对 应 控制 流 图 中 一 个 结 点 的 PDL 语句 或 语句 组 ， 加 上 
用 数字 表示 的 标号 。 加 了 标号 的 PDL 程序 及 对 应 的 控制 流 图 如 图 6-14 和 图 6-15 所 示 。 


DO WHILE | value[fi] <> -999 | AND | total.input < 100 
4 


4 6 
IF| vaiue[il >=minimum | AND | valuefil] <= maximum 


THEN increment total. Valid by 1; 
7 | sum=sum+value[i] 
ELSE skip， 


ENDIF: 
8 
increment i by }j: 


9 [ENDDO | 
10 


IF | total.valid >0 
1 
12 [ELSE averagy =-999; | 
13 


图 6-14 ”对 averagy 过 程 定义 结 点 
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(2) 计算 得 到 的 控制 流 图 G 的 环 路 复杂 性 V(G) 

利用 在 前 面 给 出 的 计算 控制 流 图 环 路 复杂 性 的 方法 ， 算 出 控制 流 图 G 的 环 路 复杂 
性 。 如 果 一 开始 就 知道 判断 结 点 的 个 数 ， 甚 至 不 必 画 出 整个 控制 流 图 ， 就 可 以 计算 出 该 
图 的 环 路 复杂 性 的 值 。 对 于 如 图 6-15 所 示 的 控制 流 图 ， 可 以 算出 ， 


”图 6-15 averagy 过 程 的 控制 流 图 


V(G)=6 (区 域 数 ) = (判断 结 点 数 ) 十 1=6。 

(3) 确定 线性 无 关 路 径 的 基本 集 

针对 如 图 6-15 所 示 的 averagy 过 程 的 控制 流 图 计算 出 的 环 路 复杂 性 的 值 ， 就 是 该 图 
已 有 的 线性 无 关 基 本 路 径 集 中 路 径 数目 。 该 图 所 有 的 6 条 路 径 如 下 所 示 。 

[path1]1 一 2 一 10 一 11 一 13 

[path2]1 一 2 一 10 一 12 一 13 

[path3]1 一 2 一 3 一 10 一 11 一 13 

[path4]1 一 2 一 3 一 4 一 5 一 8 一 9 一 2… 

[path5]1 一 2 一 3 一 4 一 和 一 6 一 8 一 9 一 2… 
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[path6]1 一 2 一 3 一 4 一 4 一 6 一 7 一 8 一 9 一 2… 

路 径 4、5、6 后 面 的 省 略 号 〈… .) 表示 在 控制 结构 中 以 后 剩 下 的 路 径 是 可 选择 的 。 
在 很 多 情况 下 ， 标 识 判 断 结 点 ， 常 常 能 够 有 效 地 帮助 导出 测试 用 例 。 在 上 例 中 ， 结 点 2、 
3、5、6 和 10 都 是 判断 结 点 。 

(4) 生成 测试 用 例 ， 确 保 基 本 路 径 集中 每 条 路 径 的 执行 

根据 判断 结 点 给 出 的 条 件 ， 选 择 适 当 的 数据 以 保证 某 一 条 路 径 可 以 被 测试 到 。 满 足 
上 述 基本 路 径 集 的 测试 用 例如 下 所 示 。 

[path1] 输入 数据 :value[k] 王 有 效 输 入 ， 限 于 k<i (i 定义 如 下 ) 

value[i] 二 -999， 当 2<i<100。 
预期 结果 : n 个 值 的 正确 的 平均 值 、 正 确 的 总 计数 。 
注意 ; 不 能 孤立 地 进行 测试 ， 应 当 作为 路 径 4、5、 WR 
[path2] 输入 数据 : value[1] = -999; 
预期 结果 : 平均 值 = -999， 总 计数 取 初 始 值 。 

[path3] 输入 数据 : 试图 处 理 101 个 或 更 多 的 值 ， 而 前 100 个 应 当 是 有 效 的 值 ; 

预期 结果 :与 测试 用 例 1 相同 。 

[path4] 输入 数据 : value[i] = 有 效 输入 ， 且 i<100; 

value[k]< 最 小 值 ， 当 k<i 时 ， 
预期 结果 : n 个 值 的 正确 的 平均 值 、 正 确 的 总 计数 。 

[path5] 输入 数据 value[i]= 有 效 输入 ， 且 i<100; 

value[K]> 坡 大 值 ， 当 ksi 时 ; 
预期 结果 ; n 个 值 的 正确 的 平均 值 、 正 确 的 总 计数 。 

[path6] “输入 数据 ，value[i 王 有 效 输入 ， 且 i<100 

预期 结果 ; n 个 值 的 正确 的 平均 值 、 正 确 的 总 计数 。 

每 个 测试 用 例 执行 之 后 ， 与 预期 结果 进行 比较 。 如 果 所 有 测试 用 例 都 执行 完毕 ， 则 
可 以 确信 程序 中 所 有 的 可 执行 语句 至 少 被 执行 了 一 次 。 但 是 必须 注意 的 是 ， 一 些 独立 的 
路 径 (如 此 例 中 的 路 径 1), 往往 不 是 完全 孤立 的 , 有 时 它 是 程序 正常 的 控制 流 的 一 部 分 ， 
这 时 ， 这 些 路 径 的 测试 可 以 是 另 一 条 路 径 测试 的 一 部 分 。 


6.2.6 ”其 他 白 食 测试 方法 


1. 域 测试 

域 测试 (Domain Testing) 是 一 种 基于 程序 结构 的 测试 方法 。Howden 曾 对 程序 中 出 
现 的 错误 进行 分 类 ， 他 将 程序 错误 分 为 域 错误 、 计 算 型 错误 和 丢失 路 径 错 误 三 种 ， 这 是 
相对 于 执行 程序 的 路 径 来 说 的 。 我 们 知道 ， 每 条 执行 路 径 对 应 于 输入 域 的 一 类 情况 ， 是 
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程序 的 一 个 子 计算 。 如 果 程 序 的 控制 流 有 错误 ， 对 于 某 一 特定 的 输入 可 能 执行 的 是 一 条 
错误 路 径 ， 这 种 错误 称 为 路 径 错误 ， 也 叫做 域 错误 。 如 果 对 于 特定 输入 执行 的 是 正确 路 
径 , 但 由 于 赋值 语句 的 错误 致使 输出 结果 不 正确 ， 则 称 此 为 计算 型 错误 。 

另外 一 类 错误 是 丢失 路 径 错 误 。 它 是 由 于 程序 中 的 某 处 少 了 一 个 判定 谓词 而 引起 
的 。 域 测试 主要 是 针对 域 错误 进行 的 程序 测试 。 

域 测试 的 “ 域 ”是 指 程序 的 输入 空间 。 域 测试 方法 基于 对 输入 空间 的 分 析 。 自 然 ， 任 
何 一 个 被 测 程序 都 有 一 个 输入 空间 。 测试 的 理想 结果 就 是 检验 输入 空间 中 的 每 一 个 输入 元 
素 是 否 都 产生 正确 的 结果 。 而 输入 空间 又 可 分 为 不 同 的 子 空间 ， 每 一 子 空间 对 应 一 种 不 同 
的 计算 。 在 考察 被 测试 程序 的 结构 以 后 ， 我 们 就 会 发 现 ， 子 空间 的 划分 是 由 程序 中 分 支 语 
句 中 的 谓词 决定 的 。 输 入 空间 的 一 个 元 素 ， 经 过 程序 中 某 些 特定 语句 的 执行 而 结束 〈 当 然 
也 可 能 出 现 无 限 循环 而 无 出 口 )， 那 都 是 满足 了 这 些 特定 语句 被 执行 所 要 求 的 条 件 的 。 

域 测试 正 是 在 分 析 输入 域 的 基础 上 ， 选 择 适 当 的 测试 点 以 后 进行 测试 的 。 

域 测试 有 两 个 致命 的 弱点 ， 一 是 为 进行 域 测试 对 程序 提出 的 限制 过 多 ， 二 是 当 程序 
存在 很 多 路 径 时 ， 所 需 的 测试 点 也 就 很 多 。 

2， 符号 测试 

符号 测试 的 基本 思想 是 允许 程序 的 输入 不 仅仅 是 具体 的 数值 数据 ， 而 且 包 括 符号 
值 ， 这 一 方法 也 是 因此 而 得 名 的 。 这 里 所 说 的 符号 值 可 以 是 基本 符号 变量 值 ， 也 可 以 是 
这 些 符号 变量 值 的 一 个 表达 式 。 这 样 ， 在 执行 程序 过 程 中 以 符号 的 计算 代替 了 普通 测试 
执行 中 对 测试 用 例 的 数值 计算 。 所 得 到 的 结果 自然 是 符号 公式 或 是 符号 谓词 。 更 明确 地 
说 ， 普 通 测试 执行 的 是 算术 运算 ， 符 号 测试 执行 的 则 是 代数 运算 。 因 此 符号 测试 可 以 认 
为 是 普通 测试 的 一 个 自然 的 扩充 。 

符号 测试 可 以 看 作 是 程序 测试 和 程序 验证 的 一 个 折衷 方法 。 一 方面 ， 它 沿用 了 传统 
的 程序 测试 方法 ， 通 过 运行 被 测 程序 来 验证 它 的 可 靠 性 。 另 一 方面 ， 由 于 一 次 符号 测试 
的 结果 代表 了 一 大 类 普通 测试 的 运行 结果 ， 实 际 上 是 证 明了 程序 接受 此 类 输入 后 ， 所 得 
输出 是 正确 的 还 是 错误 的 。 最 为 理想 的 情况 是 ， 程 序 中 仅 有 有 限 的 几 条 执行 路 径 。 如 果 
对 这 有 限 的 几 条 路 径 都 完成 了 符号 测试 ， 我 们 就 能 镑 有 把 握 地 确认 程序 的 正确 性 了 。 

从 符号 测试 方法 的 使 用 来 看 ， 问 题 的 关键 在 于 开发 出 比 传统 的 编译 器 功能 更 强 ， 能 
够 处 理 符号 运算 的 编译 器 和 解释 器 。 

目前 符号 测试 存在 一 些 未 得 到 圆满 解决 的 问题 ， 如 下 所 示 。 

。 分支 问题 。 

当 采 用 符号 执行 方法 进行 到 某 一 分 支点 处 ， 分 支 谓词 是 符号 表达 式 ， 这 种 情况 下 通 
常 无 法 决定 谓词 的 取 值 ， 也 就 不 能 决定 分 支 的 走向 ， 需 要 测试 人 员 做 人 工 干预 ， 或 是 执 
行 树 的 方法 进行 下 去 。 如 果 程 序 中 有 循环 ， 而 循环 次 数 又 决定 于 输入 变 重 ， 那 就 无 法 确 
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定 循环 的 次 数 。 
。 ”二 义 性 问题 。 
数据 项 的 符号 值 可 能 是 有 二 义 性 的 。 这 种 情况 通常 出 现在 带 有 数组 的 程序 中 。 
我 们 来 看 以 下 的 程序 段 : 


X(T1)=2+A 
X{J)=3 
C=X(1) 


如 果 I=J， 则 C=3; 否则 ，C = 2 + A。 但 由 于 使 用 符号 值 运算 ， 这 时 无 法 知道 
是 否 等 于 J。 

。 大 程序 问题 。 

符号 测试 中 经 常 要 处 理 符号 表达 式 。 随 着 符号 执行 的 继续 ， 一 些 变 最 的 符号 表达 式 
会 越 来 越 庞大 。 特 别 是 当 符号 执行 树 很 大 ， 分 支点 很 多 时 ， 路 径 条 件 本 身 变 成 一 个 非常 
长 的 表达 式 。 如 果 能 够 有 办 法 将 其 化 简 ， 自 然 会 带 来 很 大 好 处 。 但 如 果 找 不 到 化 简 的 办 
法 ， 那 将 给 符号 测试 的 时 间 和 运行 空间 带 来 大 幅度 的 增长 ， 甚 至 使 整个 问题 的 解决 遇 到 
难以 克服 的 困难 。 

3。 世 路径 帘 盖 

分 析 程 序 中 的 路 径 是 指 : 检验 程序 从 入 口 开 始 ， 执 行 过 程 中 经 历 的 各 个 语句 ， 直 到 
出 口 。 这 是 白 盒 测试 最 为 典型 的 问题 。 着 眼 于 路 径 分 析 的 测试 可 称 为 路 径 测试 。 完 成 路 
径 测 试 的 理想 情况 是 做 到 路 径 团 盖 。 对 于 比较 简单 的 小 程序 实现 路 径 轩 盖 是 可 能 做 到 的 。 
但 是 如 果 程 序 中 出 现 多 个 判断 和 多 个 循环 ， 可 能 的 路 径 数 目 将 会 急剧 增长 ， 达 到 天 文 数 
字 ， 以 至 于 实现 完全 路 径 履 盖 是 不 可 能 做 到 的 。 

为 了 解决 这 一 问题 ， 我 们 必须 舍 掉 一 些 次 要 因素 ， 对 循环 机 制 进行 简化 ， 从 而 极 大 
地 减少 路 径 的 数量 ， 使 得 习 盖 这 些 有 限 的 路 径 成 为 可 能 。 我 们 称 简化 循环 意义 下 的 路 径 
贸 盖 为 Z 路 径 轿 盖 。 

这 里 所 说 的 对 循环 化 简 ， 是 指 限制 循环 的 次 数 。 无 论 循环 的 形式 和 实际 执行 循环 体 
的 次 数 多 少 ， 我 们 只 考虑 循环 一 次 和 零 次 两 种 情况 。 即 只 考虑 执行 时 进入 循环 体 一 次 和 
跳 过 循环 体 这 两 种 情况 。 如 图 6-16 (a) 和 (by) 所 示 表 示 了 两 种 最 典型 的 循环 控制 结构 。 
前 者 先 作 判 断 ， 循 环 体 B 可 能 执行 〈 假 定 只 执行 一 次 )， 也 可 能 不 执行 。 这 就 如 同 如 
图 6-16 (c) 所 示 的 条 件 选 择 结构 一 样 。 后 者 先 执行 循环 体 B《〈 假 定 也 执行 一 次 )， 再 经 
判断 转 出 ， 其 效果 也 与 〈c) 中 给 出 的 条 件 选 择 结构 只 执行 右 支 的 效果 一 样 。 
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图 6-16 ”循环 结构 简化 成 选择 结构 


对 于 程序 中 的 所 有 路 径 可 以 用 路 径 树 来 表示 ， 上 具体 表示 方法 这 里 忽略 。 当 得 到 某 一 
程序 的 路 径 树 后 ， 从 其 根 结 点 开始 ， 一 次 遍历 ， 再 回 到 根 结 点 时 ， 把 所 经 历 的 叶 结 点 名 
排列 起 来 ， 就 得 到 一 个 路 径 。 如 果 我 们 设法 遍历 了 所 有 的 叶 结 点 ， 就 得 到 了 所 有 的 路 径 。 

当 得 到 所 有 的 路 径 后 ， 生 成 每 个 路 径 的 测试 用 例 ， 就 可 以 做 到 Z 路 径 轿 盖 测 试 。 

4。 程序 变异 

程序 变异 方法 与 前 面 提 到 的 结构 测试 和 功能 测试 都 不 一 样 ， 它 是 一 种 错误 驱动 测 
试 。 所 谓 错误 驱动 测试 ， 是 指 该 方法 是 针对 某 类 特定 程序 错误 的 。 经 过 多 年 的 测试 理论 
研究 和 软件 测试 的 实践 ， 人 们 逐渐 发 现 要 想 找 出 程序 中 所 有 的 错误 几乎 是 不 可 能 的 。 比 
较 现 实 的 解决 办 法 是 将 错误 的 搜索 范围 尽 可 能 地 缩小 ， 以 利于 专门 测试 某 类 错误 是 否 存 
在 。 这 样 做 的 好 处 在 于 ， 便 于 集中 目标 于 对 软件 危害 最 大 的 可 能 错误 ， 而 暂时 忽略 对 软 
件 危害 较 小 的 可 能 错误 。 这 样 可 以 取得 较 高 的 测试 效率 ， 并 降低 测试 的 成 本 。 

错误 驱动 测试 主要 有 两 种 ， 即 程序 强 变异 和 程序 弱 变 异 。 为 便于 测试 人 员 使 用 变异 
方法 ， 一 些 变异 测试 工具 被 开发 出 来 。 关 于 程序 变异 测试 方法 ， 请 参见 清华 大 学 出 版 社 
出 版 的 《软件 测试 技术 》 一 书 。 


6.3， 自 盒 测试 综合 策略 


在 白 盒 测试 中 ， 可 以 使 用 各 种 测试 方法 的 综合 策略 如 下 所 示 。 

。 ”在 测试 中 ， 应 尽 基 先 用 工具 进行 廊 态 结构 分 析 。 

。 ”测试 中 可 采取 先 静 态 后 动态 的 组 合 方式 ， 先进 行 稻 态 结构 分 析 、 代 码 检查 和 荫 
态 质 量度 量 ， 表 进行 粮 证 府 测 试 。 

。 ”利用 浪 态 分 析 的 结果 作为 引导 ， 通 过 代码 检查 和 动态 测试 的 方式 对 廊 态 分 析 结 
果 进 行进 一 步 的 确认 ， 使 测试 工作 更 为 有 效 。 

。 团 盖 率 测 试 是 白 盒 测 试 的 重点 ， 一 般 可 使 用 基本 路 径 测试 法 达到 语句 覆盖 标 
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” 准 ， 对 于 软件 的 重点 模块 ， 应 使 用 多 种 园 次 率 标准 衡量 代码 的 较 次 率 ， 具 体 的 
测试 用 例 数 计算 与 获 盖 准则 参见 本 书后 面 的 内 容 。 
。 ”在 不 同 的 测试 阶段 ， 测 试 的 侧重 点 不 同 ， 在 单元 测试 阶段 ， 以 代码 检查 、 逻 辑 
颖 盖 为 主 ， 在 集成 测试 阶段 ， 震 要 增加 个 态 结构 分 析 、 种 态 质量 度量 ;在 系统 
测试 阶段 ， 应 根据 黑 盒 测试 的 结果 ,采取 相应 的 白 盒 测试 。 


6.3.1 最 少 测试 用 例 数 计算 

为 实现 测试 的 逻辑 科 盖 ， 必 须 设 计 足 够 多 的 测试 用 例 ， 并 使 用 这 些 测 试用 例 执行 被 
测 程序 ， 实 施 测 试 。 我 们 关心 的 是 ， 对 某 个 具体 程序 来 说 ， 至 少 要 设计 多 少 测试 用 例 。 
这 里 提供 一 种 估算 最 少 测试 用 例 数 的 方法 。 

我 们 知道 ， 结 构 化 程序 是 由 3 种 基本 控制 结构 组 成 的 。 这 3 种 基本 控制 结构 就 是 ， 


。 ”顺序 型 一 一 构成 串 行 操作 
。 ”选择 型 一 一 构成 分 支 操作 
。 ”重复 型 一 一 构成 循环 操作 。 


为 了 把 问题 化 简 ， 避 免 出 现 测 试用 例 极 多 的 组 合 爆炸 ， 把 构成 循环 操作 的 重复 型 结 
构 用 选择 结构 代替 。 也 就 是 说 ， 并 不 指望 测试 循环 体 所 有 的 重复 执行 ， 而 是 只 对 循环 体 
检验 一 次 。 这 样 ， 任 一 循环 便 改造 成 进入 循环 体 或 不 进入 循环 体 的 分 支 操作 了 。 

如 图 6-17 所 示 给 出 了 类 似 于 流程 图 的 N-S 图 表示 的 基本 控制 结构 (图 中 A、B、C、 
D、S 均 表 示 要 执行 的 操作 , P 是 可 取 真 假 值 的 谓词 ,Y 表 真 值 , N 表 假 值 )。 其 中 图 6-17 
(c) 和 图 6-17 (d) 两 种 重复 型 结构 代表 了 两 种 循环 。 在 作 了 如 上 简化 循环 的 假设 以 后 ， 
对 于 一 般 的 程序 控制 流 ， 我 们 只 考虑 选择 型 结构 。 究 实 上 它 已 经 能 体现 顺序 型 和 重复 型 
结构 了 。 

例如 , 如 图 6-18 所 示 表 达 了 两 个 顺序 执行 的 分 支 结构 。 两 个 分 支 谓词 Pl 和 P2 取 不 
同 值 时 ， 将 分 别 执行 a 或 b 及 ec 或 d 操作 。 显 然 ， 要 测试 这 个 小 程序 ， 需 要 至 少 提供 4 
个 测试 用 例 才 能 做 到 逻辑 哮 盖 。 使 得 ae、ad、bc 及 bd 操作 均 得 到 检验 。 其 实 ， 这 里 的 
4 是 图 中 第 1 个 分 支 谓词 引出 的 两 个 操作 ， 及 第 2 个 分 支 谓词 引出 的 两 个 操作 组 合 起 来 
而 得 到 的 ， 即 2xX2 = 4。 并 且 ， 这 里 的 2 是 由 于 两 个 并 列 的 操作 ，1 + 1 = 2 而 得 到 的 。 

对 于 一 般 的 、 更 为 复杂 的 问题 , 估算 最 少 测试 用 例 数 的 原则 也 是 同样 的 。 现 以 图 6-19 
所 示 的 程序 为 例 。 该 程序 中 共有 9 个 分 支 谓词 ， 尽 管 这 些 分 支 结构 交错 起 来 似乎 十 分 复 
杂 ， 很 难 一 眼看 出 应 至 少 需 要 多 少 个 测试 用 例 ， 但 如 果 仍 用 上 面 的 方法 ， 也 是 很 容易 解 
决 的 。 我 们 注意 到 该 图 可 分 上 下 两 层 ， 分 支 谓词 1 的 操作 域 是 上 层 ， 分 支 谓 词 8 的 操作 
域 是 下 层 。 这 两 层 正 像 前 面 简单 例 中 的 Pl 和 P2 的 关系 一 样 。 只 要 分 别 得 到 两 层 的 测试 
用 例 个 数 ， 再 将 其 相 乘 ， 即 得 总 的 测试 用 例 数 。 这 里 需要 首先 考虑 较为 复杂 的 上 层 结构 。 
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谓词 1 不 满足 时 要 做 的 操作 又 可 进一步 分 解 为 两 屋 ， 这 就 是 如 图 6-20 所 示 中 的 图 (a) 
和 (b)。 它 们 所 需 测 试用 例 个 数 分 别 为 1+l+l+l+1=5 和 1+1+1=3。 因 而 两 屋 组 合 ， 得 
到 5X3= 15。 于 是 整个 程序 结构 上 层 所 需 测试 用 例 数 为 1+15 = 16, 而 下 层 十 分 显然 为 3。 
故 最 后 得 到 整个 程序 所 需 测试 用 例 数 至 少 为 16X3= 48。 


(cec) DO WHILE 型  (d) DOUNTIL 型 
6-17 N-S 图 表示 的 基本 控制 结构 图 6-18 ”两 个 申 行 的 分 支 结构 的 N-S 图 


图 6-19 计算 最 少 测试 用 例 煞 实例 
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48 


图 6-20 最 少 测试 用 例 数 计算 。 
6.3.2 ”测试 履 盖 准则 


1 Foster 的 ESTCA 蜀 盖 准则 | | , : : 
前 面 介绍 的 逻辑 覆盖 ， 其 出 发 点 似乎 是 合理 的 。 所 谓 “ 补 证 ”， 就 是 想 要 做 到 全 面 
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而 无 进 漏 。 但 事实 表明 , 它 并 不 能 真 的 做 到 无 则 油 。 甚 至 对 于 像 前 面 提 到 的 ,将 程序 段 : 


IF(>0) 
THENI=] . 


错 写 成 : 


|IFa >0) 
THENI =] 


这 样 的 小 问题 都 无 能 为 力 。 

我 们 分 析出 现 这 一 情况 的 原因 在 于 ， 错 误区 域 仅仅 在 1= 0 这 个 点 上 ， 即 仅 当 I 取 
0 时 ， 测 试 才能 发 现 错误 。 它 的 确 是 在 我 们 力图 通过 全 面 入 盖 来 查找 错误 的 测试 的 “网 
上 ” 销 了 空子 ， 并 且 恰 恰 在 容易 发 生 问题 的 条 件 判 断 那 里 未 被 发 现 。 面 对 这 类 情况 ， 我 
们 应 该 从 中 吸取 的 教训 是 测试 工作 要 有 重点 ， 要 多 针对 容易 发 生 问题 的 地 方 设计 测试 
用 例 。 

K.A.Foster 从 测试 工作 实践 的 教训 出 发 ， 吸 收 了 计算 机 硬件 的 测试 原理 ， 提 出 了 一 
种 经 验 型 的 测试 租 盖 准则 ， 较 好 地 解决 了 上 述 问题 。 

Foster 的 经 验 型 条 盖 准 则 是 从 硬件 的 早期 测试 方法 中 得 到 启发 的 。 我 们 知道 ， 硬 件 
测试 中 ， 对 每 一 个 门 电路 的 输入 、 输 出 测试 都 是 有 额定 标准 的 。 通 常 ， 电 路 中 一 个 门 的 
错误 常常 是 “输出 总 是 0”, 或 是 “输出 总 是 1”。 与 硬件 测试 中 的 这 一 情况 类 似 ， 我们 常 
营 要 重视 程序 中 谓词 的 取 值 ， 但 实际 上 它 可 能 比 硬 件 测试 更 加 复杂 。Foster 通过 大 量 的 
实验 确定 了 程序 中 谓词 最 容易 出 错 的 部 分 ， 得 出 了 一 套 错 误 敏 感 测 试用 例 分 析 ESTCA 
(Error Sensitive Test Cases Analysis) 规则 。 事 实 上 ， 规 则 十 分 简单 。 

e [规则 1] 对 于 A rel B (rel 可 以 是 <， = 和 >) 型 的 分 支 亩 词 ， 应 适当 地 选择 A 

与 B 的 值 ， 使 得 测试 执行 到 该 分 支 语句 时 ，A<B, A =B 和 A>B 的 情况 分 别 出 
现 一 次 。 
。 [规则 2] 对 于 Arell C (rell 可 以 是 “>” 或 是 “<”，A 是 变量 ，C 是 常量 ) 型 
的 分 支 谓词 ， 当 rell 为 “<” 时 ， 应 适当 地 选择 A 的 值 ， 使 : 
A=C-M。 

(M 是 距 C 最 小 的 容器 容许 的 正 数 ， 若 A 和 C 均 为 整 型 时 ，M = 1)。 同 样 ， 当 rell 

为 “>” 时 ， 应 适当 地 选择 A， 使 ; 
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A=C+M。 
e。 [规则 3] 对 外 部 输入 变量 赋值 ， 人 
并 与 同一 组 测试 用 例 中 其 他 变量 的 值 和 符号 不 一 致 。 

显然 , 上述 规 则 1 是 为 了 检测 rel 的 错误 , 规则 2 是 为 了 检测 “ 差 1” 之 类 的 错误 (如 
本 应 是 “IF A>1” 而 错 成 “IF A>0”)， 而 规则 3 则 是 为 了 检测 程序 语句 中 的 错误 〈 如 应 
引用 一 变量 而 错 成 引用 一 常量 )。 

上 述 三 个 规则 并 不 完备 ， 但 在 普通 程序 的 测试 中 确 是 有 效 的 。 原 因 在 于 规则 本 身 针 
对 着 程序 编写 人 员 容易 发 生 的 错误 ， 或 是 围绕 着 发 生 错误 的 频繁 区 域 ， 从 而 提高 了 发 现 
错误 的 命中 率 。 

根据 这 里 提供 的 规则 来 检验 上 述 小 程序 段 错误 。 应 用 规则 1， 对 它 测试 时 ， 应 选择 
I 的 值 为 0， 使 1=0 的 情况 出 现 一 次 。 这 样 一 来 就 立即 找 出 了 隐藏 的 错误 。 

当然 ,ESTCA 规则 也 有 很 多 缺陷 。 一 方面 是 ， 有 时 不 容易 找到 输入 数据 使 得 规则 所 
指 的 变量 值 满 足 要 求 。 另 一 方面 是 ， 仍 有 很 多 缺陷 发 现 不 了 。 对 于 查找 错误 的 广度 问题 
在 变异 测试 中 得 到 了 较 好 的 解决 。 

2. Woodward 等 人 的 层次 LCSAJ 福 盖 准则 

Woodward 等 人 曾经 指出 结构 嫉 盖 的 一 些 准 则 ， 如 分 支 轩 盖 或 路 径 久 瘟 ， 都 不 足以 
保证 测试 数据 的 有 效 性 。 为 此 ， 他 们 提出 了 一 种 层次 LCSAJ 轿 盖 准则 。 

LCSAJ(Linear Code Sequence and Jump ) 的 意思 是 线性 代码 序列 与 跳 转 。 一 个 LCSAJ 
是 一 组 顺序 执行 的 代码 ， 以 控制 流 跳 转 为 其 结束 点 。 它 不 同 于 判断 一 判断 路 径 。 判 断 一 
判断 路 径 是 根据 程序 有 阿 图 决定 的 。 一 个 判断 一 判断 路 径 是 指 两 个 判断 之 间 的 路 径 ， 但 
其 中 不 再 有 判断 。 程序 的 入 口 、 出 口 和 分 支 结 点 都 可 以 是 判断 点 。 而 LCSAJ 的 起 点 是 根 
据 程 序 本 身 决定 的 。 它 的 起 点 是 程序 第 一 行 或 转移 语句 的 入 口 点 ， 或 是 控制 流 可 以 跳 达 
的 点 。 几 个 首尾 相 接 ， 且 第 一 个 LCSAJ 起 点 为 程序 起 点 ， 最 后 一 个 LCSAJ 终点 为 程序 
终点 的 LCSAJ 串 就 组 成 了 程序 的 一 条 路 径 。 一 条 程序 路 径 可 能 是 由 两 个 、 三 个 或 多 个 
LCSAJ 组 成 的 。 基 于 LCSAJ 与 路 径 的 这 一 关系 ，Woodward 提出 了 LCSAJ 履 盖 准则 。 
这 是 一 个 分 层 的 覆盖 准则 ， 具 体 如 下 。 
[第 二 层 ]: 分 支 窗 盖 。 
[第 三 层 ]: LCSAJ 禾 盖 。 即 程序 中 的 每 一 个 LCSAJ 都 至 少 在 测试 中 经 历 过 一 次 。 
[第 四 层 ]: 两 两 LCSAJ 狗 盖 。 即 程序 中 每 两 个 首尾 相连 的 LCSAJ 组 合 起 来 在 
WO : 


。 第 n+2 层 ]: 每 n 个 首尾 相连 的 LCSAJ 组 合 在 测试 中 都 要 经 历 一 次 。 
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它们 说 明了 ， 越 是 高 层 的 覆盖 准则 越 难 满足 。 
在 实施 测试 时 ， 若 要 实现 上 述 的 Woodward 层次 LCSAJ 轩 盖 , 需要 产生 被 测 程序 的 
所 有 LCSAJ。 


6.4 结论 


从 上 面 的 概念 和 例子 可 以 看 出 ， 要 进行 上 面 的 白 盒 测试 是 需要 投入 巨大 的 测试 资 
源 ， 包 括 人 力 、 物 力 和 时 间 等 。 但 是 为 什么 还 要 进行 白 盒 测 试 呢 ? 原因 如 下 。 

。 ”逻辑 错误 和 不 正确 假设 与 一 条 程序 路 径 被 运行 的 可 能 性 成 反比 。 当 我 们 设计 和 
实现 主流 之 外 的 功能 、 条 件 或 控制 时 ， 错 误 往 往 开始 出 现在 我 们 的 工作 中 。 日 
0 (和 和 很 好 地 细 查 )， 而 “特殊 悄 况 ”的 处 理 则 难以 发 
现 。 

。 ”我 们 经 第 相信 和 某 逻 辑 路 径 不 可 能 被 执行， 而 事实 上 ， 它 可 能 在 正常 的 基础 上 被 
执行 。 程 序 的 逻辑 流 有 时 是 违反 直觉 的 ， 这 意味 着 我 们 关于 控制 流 和 数据 流 的 
一 些 无 意识 的 假设 ， 可 能 导致 设计 错误 。 只 有 路 径 测 试 才能 发 现 这 些 错误 。 

。 ”印刷 上 的 错误 是 随机 的 。 当 一 个 程序 被 翻译 为 程序 设计 语言 源 代码 时 ， 有 可 能 
产生 某 些 打印 铬 误 ， 很 多 将 被 语法 检查 机 制 发现 ， 但 是 ， 其 他 的 错误 只 有 在 测 
试 开 始 时 才 会 被 发 现 。 打 印 错误 出 现在 主流 上 和 出 现在 不 明显 的 逻辑 路 径 上 的 
可 能 性 是 一 样 的 。 
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7.1 面 回 对 象 测 试 概述 


对 象 概念 对 软件 开发 具有 极 大 的 好 处 ， 用 户 应 用 OOP (面向 对 象 编程 ) 技术 可 以 只 
编写 一 次 代码 而 在 今后 反复 重用 ， 而 在 非 OOP 的 情况 下 ， 则 多 半 要 在 应 用 程序 内 部 各 
个 部 分 反复 多 次 地 编写 同样 的 功能 代码 。 所 以 ，OOP 减少 了 编写 代码 的 总 和 量 ， 加 快 了 开 
发 的 进度 。 / 

但 是 面向 对 象 编程 也 存在 一 些 固有 的 缺点 。 例 如 ， 某 个 类 被 修改 了 ， 那 么 所 有 依赖 
该 类 的 代码 都 必须 重新 测试 , 而 且 ， 还 可 能 需要 重新 修改 依赖 类 以 支持 类 的 变更 。 另外 ， 
如 果 相 关 开 发 文档 没有 得 到 仔细 的 维护 ， 那 么 就 很 难 确定 哪些 代码 采用 了 父 类 (被 继承 
的 代码 )。 而 且 , 如 果 在 开发 后 期 发 现 了 软件 中 的 错误 , 它 很 可 能 影响 应 用 程序 中 的 绝 大 
部 分 的 代码 。 

尽管 面向 对 象 技术 的 基本 思想 似乎 表明 了 ， 这 种 技术 开发 出 来 的 软件 应 该 有 更 高 的 
质量 ， 但 实际 情况 却 并 非 如 此 ， 因 为 无 论 采 用 什么 样 的 编程 技术 ， 编 程 人 员 的 错误 都 是 
不 可 避免 的 ， 而 且 由 于 面向 对 象 技 术 开发 的 软件 代码 重用 率 高 ， 更 需要 严格 的 测试 ， 避 
免 错 误 的 繁衍 。 因 此 ， 软 件 测 试 并 没有 因 面 向 对 象 编程 的 兴起 而 立 失 掉 它 的 重要 性 ， 相 
反 ， 更 加 迫切 地 需要 一 些 新 的 测试 理念 和 测试 方法 。 本 章 将 会 对 面向 对 象 的 测试 做 一 个 
深入 的 介绍 。 


7.2 面向 对 象 技术 


在 介绍 面向 对 象 软 件 测试 之 前 ， 有 必要 先 对 面向 对 象 技术 的 基本 概念 做 一 下 简单 
介绍 。 
7.2.1 对象 和 类 


面向 对 象 其 实 是 现实 世界 模型 的 自然 延伸 。 现 实 世 界 中 任何 实体 都 可 以 看 作 是 对 
象 。 对 象 之 间 通 过 消息 相互 作用 。 另 外 ， 现 实 世 界 中 任何 实体 都 可 归属 于 某 类 事物 ， 任 
何 对 象 都 是 某 一 类 事物 的 实例 。 如 果 说 传统 的 过 程式 编程 语言 是 以 过 程 为 中 心 ， 以 算法 
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为 驱动 的 语 ， 那 么 面 癌 对 象 的 编程 语言 则 是 以 对 象 为 中 心 ， 以 消息 为 驱动 的 。 用 会 式 表 
示 ， 过 程式 编程 语言 为 ， 程 序 = 算法 + 数据 ;面向 对 象 编 程 语 言 为 ;程序 = 对 象 + 消 息 。 

在 面向 对 象 的 程序 设计 中 ， 类 是 其 设计 的 核心 ， 它 实际 是 一 种 新 的 数据 类 型 ， 也 是 
实现 抽象 类 型 的 工具 ， 类 是 通过 抽象 数据 类 型 的 方法 来 实现 的 一 种 数据 类 型 。 类 是 对 某 
一 类 对 象 的 抽象 ， 而 对 象 是 某 一 种 类 的 实例 ， 因 此 ， 类 和 对 象 是 密切 相关 的 。 没 有 脱离 
对 象 的 类 ， 也 没有 不 依赖 于 类 的 对 象 。 


7.2.2 封装、 继承 和 多 态 性 


封装 ， 把 数据 和 操作 结合 成 一 体 ， 使 程序 结构 更 加 紧凑 ， 同 时 避免 了 数据 紊乱 带 来 
的 调试 与 维护 的 困难 ， 继 承 ， 增 加 了 软件 的 可 扩充 性 , ,并 为 代码 重用 提供 了 强 有 力 的 手 
段 ， 多 态 性 ， 使 程序 员 在 设计 程序 时 可 以 对 问题 进行 更 好 的 抽象 ， 易 设计 出 重用 性 和 维 
护 性 俱 佳 的 程序 。 

封装 是 将 数据 和 操作 数据 的 函数 衔接 在 一 起 ， 构 成 的 一 个 具有 类 类 型 的 对 象 的 描 
述 。 封 装 要 求 一 个 对 象 应 具备 明确 的 功能 ， 并 且 有 一 个 或 几 个 接口 以 便 和 其 他 对 象 相互 
作用 。 同 时 ， 对 象 的 内 部 实现 代码 和 数据 ) 是 受 保护 的 ， 外 界 不 能 访问 它们 ， 只 有 对 
象 中 的 代码 才 可 以 访问 该 对 象 的 内 部 数据 。 对 象 的 内 部 数据 结构 的 不 可 访问 性 称 为 数据 
隐藏 。 封 装 简化 了 程序 员 对 对 象 的 使 用 ， 只 需要 知道 输入 什么 和 输出 什么 ， 而 对 类 内 部 
进行 什么 操作 不 必 追 究 。 

例如 ， 类 Test (以 C++ 为 例 ); 


#include<math.h> 
#include<iostream.h> 
class test 
{ 

Public: 
Int GetValue() 

{ 

‘SetValue(); 

Valuet+=8; 
return Value; 


Protected: 
void SetValue(); 

{ 
Value=6; 


www.TopSage.com 


第 7 章 面向 对 象 的 软件 测试 技术 


}; 
Private: 
Int Value: ”// 数 据 是 私有 的 
}; 


void main(}) 

{ 
Test test; 。 // 定 义 test 对 象 
int valuel,; 
double value2; 
valuel=test.GetValue(); 
value2=value1+2， 
cout<<value2<<"\n"; 


} 
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输出 结果 是 16， 对 于 main(0) 里 的 操作 ， 无 法 更 改 类 Test 中 的 Value 值 ， 这 样 保护 了 


数据 Value， 实 现 了 数据 的 隐藏 。 函 数 SetValue() 和 数据 Value 结合 在 一 起 操作 ， 这 就 实 
现 了 封装 。 


继承 即 可 以 从 一 个 类 派生 另 一 个 类 。 派 生 类 (也 称 为 子 类 ) 继承 了 其 父 类 和 祖先 类 


的 数据 成 员 和 成 员 函 数 。 派 生 类 可 增加 新 的 属性 和 新 的 操作 ， 另 外 ， 派 生 类 在 继承 的 成 
员 函 数 不 合 适时 也 可 以 放弃 不 用 。 


例如 ， 水 果 是 基 类 ， 它 具有 好 吃 、 营 养 等 水 果 的 基本 特征 ， 香 菊 和 苹果 是 水 果 的 派 


例如 (C++ 程 序 )， 先 设计 水 果 类 Friut。 


Class Fnut 
{ 
public: 
void EatO {cout<<" Taste is good.\n”;} 
void Taste() {count<<" Can be eaten.\n";} 


} 


生 类 ， 它 们 在 继承 水 果 类 的 一 些 特征 的 基础 上 ， 增 加 了 各 自 的 特征 ， 如 特殊 的 味道 、 形 
状 等 ， 红 富士 苹果 和 寡人 苹果 是 苹果 类 的 派生 类 ， 它 们 又 增加 了 各 自 的 新 特征 。 如 此 继承 
设计 ， 可 以 大 大 减少 工作 量 。 


苹果 类 Apple 需要 与 水 果 类 Friut 同样 的 成 员 函 数 void Eat 和 void Taste， 另 外 增加 
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class Apple:public Friut 
{ 
public: 
void Color() {cout<<" Diffent kind of color\n”:} 
void Shape(){count<<" The shape is circle.\n”;} 
} 


多 态 性 就 是 多 种 表现 形式 ， 具 体 来 说 ， 可 以 用 “一 个 对 外 接口 ， 多 个 内 在 实现 方法 ” 
表示 。 多 态 性 的 实现 ， 一 般 通 过 在 派生 类 中 重 定义 基 类 的 虚 函 数 来 实现 。 

如 下 例 〈C++ 程 序 )， 如 果 A 是 基 类 ，B 和 C 是 A 的 派生 类 ， 基 类 中 多 态 函 数 Test 
的 参数 是 A 的 指针 。 那 么 Test 函数 可 以 引用 A、B、C 的 对 象 如 下 。 


class A 
{ 

Public: 

virtual void Funcl(void}{ cout<< "This is A::Funcl] \n") 
}); 


void Test(A *a) 
{ 
a->Funcl1(); 


} 


class B : public A 
{ 

Public: 

virtual void Funcl(void){ cout<< "This is B::Funcl \n") 
}; 

class C : public A 
{ 

Public: 

virtual void Funcl(void){ cout<< “This is C::Funcl \n") 
}; 


I/ Example 
main() 


www.TopSage.com 


第 7 章 面向 对 象 的 软件 测试 技术 205 


Test(&a); 。 /1/ 输出 This is A::Funcl 
Test(&b)， /W 输出 This is B::Funcl 

”Test(&c)， 1/ 输出 This is C::Funci 
}; 


正 是 面向 对 象 软件 所 独 有 的 这 些 多 态 、 继 承 、 封 装 等 新 特点 ， 使 00 程序 设计 比 传 
统 语言 程序 设计 产生 错误 的 可 能 性 更 大 ,使 得 传统 软件 测试 中 的 重点 不 再 显得 那么 突出 ， 
也 使 原来 测试 经 验 和 实践 证 明 的 次 要 方面 成 为 了 主要 问题 。 例 如 ， 在 传统 的 面向 过 程 程 
序 中 ， 对 于 函数 y=Func (x); 你 只 希 要 考虑 一 个 函数 “Func()” 的 行为 特点 ， 而 在 面 同 对 
象 程序 中 ， 你 不 得 不 同时 考虑 基 类 函数 “Base::Func() ”的 行为 和 继承 类 函数 
“Derived::Func()” 的 行为 。 

面向 对 象 程序 的 结构 不 再 是 传统 的 功能 模块 结构 ， 作 为 一 个 整体 ， 原 有 集成 测试 所 
要 求 的 ， 逐 步 将 开发 的 模块 搭建 在 一 起 进行 测试 的 方法 已 不 可 能 。 而 且 ， 面 向 对 象 软件 
抛弃 了 传统 的 开发 模式 ， 对 每 个 开发 阶段 都 有 不 同 于 以 往 的 要 求 和 结果 ， 已 经 不 可 能 用 
功能 细 化 的 观点 来 检测 面向 对 象 分 析 和 设计 的 结果 。 因 此 ， 传 统 的 测试 模型 对 面向 对 象 
软件 已 经 不 再 适用 。 针 对 面向 对 象 软件 的 开发 特点 ， 一 种 新 的 面向 对 象 测试 模型 应 需 
而 生 。 


7.3 面向 对 象 测 试 模 型 


面向 对 象 的 开发 模型 突破 了 传统 的 瀑布 模型 ， 将 开发 分 为 面向 对 象 分 析 (OOA )， 
面向 对 象 设计 “OOD 和 面向 对 象 编程 (OOP) 三 个 阶段 。 针 对 这 种 开发 模型 ， 结 合 传 
统 的 测试 步骤 的 划分 ， 我 们 把 面向 对 象 的 软件 测试 分 为 : 面向 对 象 分 析 的 测试 、 面 向 对 
象 设计 的 测试 、 面 向 对 象 编程 的 测试 、 面 向 对 象 单元 测试 、 面 向 对 象 集 成 测试 、 面 向 对 
象 确认 和 系统 测试 。 建 议 是 一 种 整个 软件 开发 过 程 中 不 断 测试 的 测试 模型 ， 使 开发 阶段 
的 测试 与 编码 完成 后 的 单元 测试 、 集 成 测试 、 系 统 测试 成 为 一 个 整体 。 测 试 模型 如 图 7-1 
所 示 。 

OOA Test 和 OOD Test 是 对 分 析 结果 和 设计 结果 的 测试 ， 主 要 是 对 分 析 设 计 产 生 的 
文本 进行 的 ， 是 软件 开发 前 期 的 关键 性 测试 。OOP Test 主要 针对 编程 风格 和 程序 代码 实 
现 进行 测试 ， 其 主要 的 测试 内 容 在 面向 对 象 单元 测试 和 面向 对 象 集成 测试 中 体现 。 面 向 
对 象 单元 测试 是 对 程序 内 部 具体 单一 的 功能 模块 的 测试 ， 主 要 就 是 对 类 成 员 函 数 的 测 
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试 。 面 向 对 象 单 元 测试 是 进行 面向 对 象 集成 测试 的 基础 。 面 向 对 象 集成 测试 主要 对 系统 
内 部 的 相互 服务 进行 测试 ， 如 成 员 函 数 间 的 相互 作用 ， 类 间 的 消息 传递 等 。 面 向 对 象 集 
成 测试 不 但 要 基于 面向 对 象 单元 测试 ， 更 要 参考 OOD 或 QOD Test 结果 。 面 向 对 象 确认 
和 系统 测试 是 基于 面向 对 象 集成 测试 的 最 后 阶段 的 测试 ， 主 要 以 用 户 需 求 为 测试 标准 ， 
需要 借鉴 OOA 或 OOA Test 的 结果 。 


DO System Test 


OO Integrate Test 


OOA Test 面向 对 象 分 析 的 测试 。 | oop Test 面向 对 象 设计 的 测 1 ] 
OOP Test: 面向 对 人 铺 编 程 的 测试 OO Unit Test: 面向 对 人 象 单元 测试 : 


图 7-1 面向 对 象 测试 模型 


尽管 上 述 各 阶段 的 测试 构成 一 个 相互 作用 的 整体 ， 但 其 测试 的 主体 、 方 向 和 方法 各 
有 不 同 。 


7.4 面向 对 象 软 件 的 测试 策略 
7.4.1 面向 对 象 分 析 (OOA ) 的 测试 


传统 的 面向 过 程 分 析 是 一 个 功能 分 解 的 过 程 ， 是 把 一 个 系统 看 成 可 以 分 解 的 功能 的 
集合 。 这 种 传统 的 功能 分 解 分 析 法 的 着 眼 点 在 于 ， 一 个 系统 需要 什么 样 的 信息 处 理 方法 
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和 过 程 ， 以 过 程 的 抽象 来 对 待 系统 的 需要 。 而 面向 对 象 分 析 (OOA) 是 “把 E-R 图 和 语 
义 网 络 模 型 ， 即 信息 造型 中 的 概念 ， 与 面向 对 象 程序 设计 语言 中 的 重要 概念 结合 在 一 起 
而 形成 的 分 析 方 法 ”， 最 后 通常 是 以 问题 空间 的 图 表 的 形式 进行 描述 。 
OOA 直接 映射 问题 空间 , 全 面 地 将 问题 空间 中 实现 功能 的 现实 抽象 化 。 将 问题 空间 
中 的 实例 抽象 为 对 象 〈 不 同 于 C++ 中 的 对 象 概念 )， 用 对 象 的 结构 反映 问题 空间 的 复杂 
实例 和 复杂 关系 ， 用 属性 和 服务 表示 实例 的 特性 和 行为 。 对 一 个 系统 而 言 ， 与 传统 分 析 
方法 产生 的 结果 相反 ， 行 为 是 相对 稳定 的 ， 结 构 是 相对 不 稳定 的 ， 这 更 充分 反映 了 现实 
的 特性 .OOA 的 结果 是 为 后 面 阶段 类 的 选 定 和 实现 , 类 层次 结构 的 组 织 和 实现 提供 平台 。 
因此 ，OOA 对 问题 空间 分 析 抽 象 的 不 完整 ， 最 终 会 影响 软件 的 功能 实现 ， 导 致 软件 开发 
后 期 产生 大 量 原本 可 避免 的 修补 工作 ， 另 外 ， 一 些 元 余 的 对 象 或 结构 会 影响 类 的 选 定 、 
程序 的 整体 结构 或 增加 程序 员 不 必要 的 工作 量 。 因 此 ， 对 OOA 测试 的 重点 在 其 完整 性 
和 元 余 性 。 
尽管 OOA 的 测试 是 一 个 不 可 分 割 的 系统 过 程 ， 为 叙述 的 方便 ， 监 于 Coad 方法 所 提 
出 的 OOA 实现 步骤 ， 对 OOA 阶段 的 测试 划分 为 以 下 五 个 方面 : 
。 对 认定 的 对 象 的 测试 。 
。 对 认定 的 结构 的 测试 。 
。 对 认定 的 主题 的 测试 。 
。 对 定义 的 属性 和 实例 关联 的 测试 。 
。 对 定义 的 服务 和 消息 关联 的 测试 。 
1. 对 认定 的 对 象 的 测试 
OOA 中 认定 的 对 象 是 对 问题 空间 中 的 结构 ， 其 他 系统 、 设 备 ， 被 记忆 的 事件 ， 系 统 
涉及 的 人 员 等 实际 实例 的 抽象 。 对 它 的 测试 可 以 从 如 下 方面 考虑 ; 
。 认定 的 对 象 是 否 全 面 ， 是 否 问题 空间 中 所 有 涉及 到 的 实例 都 反映 在 认定 的 抽象 
对 象 中 了 。 / 
。 认定 的 对 象 是 否 具有 多 个 属性 。 只 有 一 个 属性 的 对 和 象 通常 应 看 成 其 他 对 象 的 属 
性 ， 而 不 是 抽象 为 独立 的 对 象 。 
。 对 认定 为 同一 对 象 的 实例 是 否 有 共同 的 、 区 别 于 其 他 实例 的 共同 局 性 。 
。 对 认定 为 同一 对 象 的 实例 是 否 提供 或 需要 相同 的 服务 ， 如 果 服 务 随 着 实例 的 不 
同 而 变化 ， 认 定 的 对 象 就 需要 分 解 或 利用 继承 性 来 分 类 表示 。 
e。 ”如果 系统 没有 必要 始终 保持 对 象 代表 的 实例 的 信息 ， 提 供 或 者 得 到 关于 它 的 服 
务 、 认 定 的 对 象 也 无 必要 
。 认定 的 对 象 的 名 称 应 该 尽量 准确 、 运用 。 
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2。 对 认定 的 结构 的 测试 
在 Coad 方法 中 ,认定 的 结构 指 的 是 多 种 对 象 的 组 织 方式 ， 用 来 反映 问题 空间 中 的 
复杂 实例 和 复杂 关系 。 认 定 的 结构 分 为 两 种 ， 分 类 结构 和 组 装 结构 。 分 类 结构 体现 了 问 
题 空间 中 实例 的 一 般 与 特殊 的 关系 ,组 装 结构 体现 了 问题 空间 中 实例 整体 与 局 部 的 关系 。 
e。 对 认定 的 分 类 结构 的 测试 可 从 如 下 方面 着 手 ; 
人 对 于 结构 中 的 一 种 对 象 ， 尤 其 是 处 于 高 层 的 对 象 ， 是 否 在 问题 空间 中 含有 不 同 
于 下 一 层 对 象 的 特殊 的 可 能 性 ， 即 是 否 能 派生 出 下 一 层 对 象 。 
@ 对 于 结构 中 的 一 种 对 象 ， 尤 其 是 处 于 同一 低层 的 对 象 ， 是 否 能 抽象 出 在 现实 中 
有 意义 的 更 一 般 的 上 层 对 象 。 
@ 对 所 有 认定 的 对 象 ， 是 否 能 在 问题 空间 内 向 上 层 抽象 出 在 现实 中 有 意义 的 对 象 。 
@ 高 层 的 对 象 的 特性 是 否 完 全 体现 下 层 的 共性 。 
图 低层 的 对 象 是 否 有 高 层 特性 基础 上 的 特殊 性 。 
e。 对 认定 的 组 装 结 构 的 测试 从 如 下 方面 入 手 : 
驼 体 (对 和 象 ) 和 部 件 对象 ) 的 组 装 关 系 是 否 符 合 现实 的 关系 。 
@@ 整体 (对象) 的 部 件 (对象 ) 是 否 在 考虑 的 问题 空间 中 有 实际 应 用 。 
@ 整体 (对象 ) 中 是 否 遗 漏 了 反映 在 问题 空间 中 有 用 的 部 件 (对象 )。 
@ 部 件 (对象) 是 否 能 够 在 问题 空间 中 组 装 新 的 有 现实 意义 的 整体 (对 和 象 )。 
3. 对 认定 的 主题 的 测试 
主题 是 在 对 象 和 结构 的 基础 上 更 商 一 层 的 抽象 ， 是 为 了 提供 OOA 分 析 结 果 的 可 见 
性 ， 如 同文 章 对 各 部 分 内 容 的 概要 。 对 主题 层 的 测试 应 该 考虑 以 下 方面 : 
e 贯彻 George Miller 的 “7+2” 原 则 (George Miller 指出 普通 人 的 短期 记忆 的 能 量 ， 
是 7 加 2 或 减 2， 即 5 与 9 之 间 )。 如 果 主 题 个 数 超 过 7 个， 就 要 求 对 有 较 密切 
属性 和 服务 的 主题 进行 归并 。 
e 主题 所 反映 的 一 组 对 象 和 结构 是 否 具 有 相同 和 相近 的 属性 和 服务 。 
e。 认定 的 主题 是 否 是 对 象 和 结构 更 高 层 的 抽象 ， 是 否 便于 理解 OOA 结果 的 概貌 
(尤其 是 对 非 技 术 人 员 的 OOA 结果 读者 )。 
。 主题 间 的 消息 联系 (抽象 ) 是 否 代 表 了 主题 所 反映 的 对 象 和 结构 之 间 的 所 有 
关联 。 i 
4. 对 定义 的 属性 和 实例 关联 的 测试 
属性 是 用 来 描述 对 象 或 结构 所 反映 的 实例 的 特性 。 而 实例 关联 是 反映 实例 集合 间 的 
映射 关系 。 对 属性 和 实例 关联 的 测试 从 如 下 方面 考虑 : 
e。 定义 的 属性 是 否 对 相应 的 对 象 和 分 类 结构 的 每 个 现实 实例 都 适用 。 
s 定义 的 属性 在 现实 世界 是 否 与 这 种 实例 关系 密切 。 
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。 定义 的 属性 在 问题 空间 是 否 与 这 种 实例 关系 密切 。 
。 定义 的 属性 是 否 能 够 不 依赖 于 其 他 属性 被 独立 理解 。 
。 定义 的 属性 在 分 类 结构 中 的 位 置 是 否 怡 当 ， 低层 对 象 的 共有 属性 是 否 在 上 层 对 
象 属性 体现 。 
。 在 问题 空间 中 每 个 对 象 的 属性 是 否定 义 完整 。 
。 定义 的 实例 关联 是 否 符合 现实 。 
。 在 问题 空间 中 实例 关联 是 否定 义 完整 ， 特 别 需 要 注意 “一 对 多 ”和 “多 对 多 ” 
的 实例 关联 。 
S$. 对 定义 的 服务 和 消息 关联 的 测试 
定义 的 服务 ， 就 是 定义 的 每 一 种 对 象 和 结构 在 问题 空间 所 要 求 的 行为 。 由 于 问题 空 
间 中 实例 间 必 要 的 通信 ， 在 OOA 中 需要 相应 地 定义 消息 关联 。 对 定义 的 服务 和 消息 关 
联 的 测试 从 如 下 方面 进行 : 
e。 对 象 和 结构 在 问题 空间 的 不 同 状态 是 否定 义 了 相应 的 服务 。 
。 ”对象 或 结构 所 需要 的 服务 是 否 都 定义 了 相应 的 消息 关联 。 
。 定义 的 消息 关联 所 指引 的 服务 提供 是 否 正 确 。 
。 沿 着 消息 关联 执行 的 线程 是 否 合理 ， 是 否 符合 现实 过 程 。 
。 定义 的 服务 是 否 重复 ， 是 否定 义 了 能 够 得 到 的 服务 。 


7.4.2 面向 对 象 设 计 (OOD ) 的 测试 


在 以 往 结构 化 的 设计 方法 ， 用 的 “是 面向 作业 的 设计 方法 ， 它 把 系统 分 解 以 后 ， 提 
出 一 组 作业 ， 这 些 作业 是 以 过 程 实现 系统 的 基础 构造 ， 把 问题 域 的 分 析 转 化 为 求解 域 的 
设计 ， 分析 的 结果 是 设计 阶段 的 输入 ”。 

而 面向 对 象 设计 (OOD) 采用 “造型 的 观点 ” 以 OOA 为 基础 归纳 出 类 ， 并 建立 类 
结构 或 进一步 构造 成 类 库 ， 以 实现 分 析 结 果 对 问题 空间 的 抽象 。OOPD 归纳 的 类 既 可 以 
是 对 象 简单 的 延续 ， 也 可 以 是 不 同 对 象 的 相同 或 相似 的 服务 。 因 此 ，OOD 是 OOA 的 进 
一 步 细 化 和 更 高 层 的 抽象 。 所 以 ，OOD 与 OOA 的 界限 一 般 是 很 难 严 格 区 分 的 。OOD 
确定 类 和 类 结构 不 仅 是 满足 当前 需求 分 析 的 要 求 ， 更 重要 的 是 通过 重新 组 合 或 加 以 适当 
的 补充 ， 能 方便 实现 功能 的 重用 和 扩 增 ， 以 不 断 适 应 用 户 的 要 求 。 因 此 ， 对 OOD 的 测 
试 ， 建 议 针 对 功能 的 实现 和 重用 以 及 对 OOA 结果 的 拓展 ， 从 如 下 三 方面 考虑 : 

。 对 认定 的 类 的 测试 。 

。 对 构造 的 类 层次 结构 的 测试 。 

。 对 类 库 的 支持 的 测试 。 
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1， 对 认定 的 类 的 测试 | 
OOD 认定 的 类 可 以 是 OOA 中 认定 的 对 象 ， 也 可 以 是 对 象 所 需要 的 服务 的 抽象 ， 对 
象 所 具有 的 属性 的 抽象 。 认 定 的 类 原则 上 应 该 尽量 具有 基础 性 , 这 样 才 便 于 维护 和 重用 。 
测试 认定 的 类 包括 如 下 方面 : 
。 是否 涵 盖 了 OOA 中 所 有 认定 的 对 象 。 
是 否 能 体现 OOA 中 定义 的 属性 。 
是 否 能 实现 OOA 中 定义 的 服务 。 
是 否 对 应 着 一 个 含义 明确 的 数据 抽象 。 
是 否 尽 可 能 少 地 依赖 其 他 类 。 
' 类 中 的 方法 (在 C++ 中 即 类 的 成 员 函 数 ) 是 否 是 单 用 途 。 
2， 对 构造 的 类 层次 结构 的 测试 
为 了 能 够 充分 发 挥 面 向 对 象 的 继承 共享 特性 ，OOD 的 类 层次 结构 ， 通常 基于 OOA 
中 产生 的 分 类 结构 的 原则 来 组 织 ， 着 重 体 现 父 类 和 子 类 间 的 一 般 性 和 特殊 性 。 在 当前 的 
问题 空间 ， 对 尖 帮 次 织物 的 主 檐 要求 是 前 三角 空间 榴 寺 实现 全 社 功 前 的 寻 攀 民 半 ， 为 此 ， 
需要 测试 如 下 方面 : 
e。 类 层次 结构 是 否 涵盖 了 所 有 定义 的 类 。 
是 否 能 体现 OOA 中 所 定义 的 实例 关联 。 
是 否 能 实现 OOA 中 所 定义 的 消息 关联 。 
子 类 是 否 具有 父 类 没有 的 新 特性 。 
子 类 间 的 共同 特性 是 否 完全 在 父 类 中 得 以 体现 。 
， 对 类 库 支持 的 测试 
对 类 库 的 支持 虽然 也 属于 类 层次 结构 的 组 织 问题 ， 但 其 强调 的 重点 是 再 次 软件 开发 
的 重用 。 由 于 它 并 不 直接 影响 当前 软件 的 开发 和 功能 实现 ， 因 此 , 将 其 单独 提出 来 测试 ， 
也 可 作为 对 高 质量 类 层次 结构 的 评估 。 拟 定 测试 点 如 下 : 
。 一 组 子 类 中 关于 某 种 含义 相同 或 基本 相同 的 操作 ， 是 否 有 相同 的 接口 (包括 名 
字 和 参数 表 )。 
e。 类 中 方法 (在 C++ 中 即 类 的 成 员 函 数 ) 的 功能 是 否 较 单纯 ， 相 应 的 代码 行 是 否 
较 少 (建议 为 不 超过 30 行 )。 
e。 类 的 层次 结构 是 否 是 深度 大 ， 宽 度 小 的 。 
因为 0O0OA、OOD 阶段 所 建立 的 分 析 和 设计 模型 不 能 进行 传统 意义 上 的 测试 ， 它 们 
不 能 被 执行 ， 所 以 在 每 次 迭代 之 后 ， 一 定 要 进行 评审 。 评 审 主要 针对 以 下 两 个 方面 。 
。 正确 性 
OO 开发 模式 为 演化 (重复 迭代 ) 人 性质 ， 即 系统 的 初期 为 非 形式 化 表示 ， 以 后 发 展 


(ao 和 和 二 
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为 类 的 细节 模型 、 类 的 连接 和 关联 ， 系 统 设计 和 配置 ， 以 及 对 类 的 设计 (通过 消 息 组 成 
对 象 连接 模型 )。 每 一 阶段 都 要 进行 评审 。 

正确 性 主要 在 于 分 析 和 设计 模型 表示 所 使 用 的 符号 语法 是 否 正确 ， 语 义 是 否 正确 
《 即 模 型 与 真实 世界 领域 是 否 一 臻 )， 以 及 类 的 关联 (实例 间 的 联系 》 是 否 正确 地 反映 了 
真实 世界 对 象 间 的 关联 。 

。 一致 性 

由 于 演化 性 质 ，OOA 和 OOD 模型 (包括 分 析 、 设 计 和 编码 层次 ， 即 类 、 属 性 、 操 
作 、 消 息 》 不 仅 要 正确 ， 而 且 要 一 致 。 一 致 性 可 以 用 模型 内 各 实体 间 的 关联 性 来 判 源 。 

为 评估 一 致 性 ， 应 检查 每 个 类 及 其 与 其 他 类 的 连接 。 可 运用 类 -责任 -协作 者 〈CRC ) 
模型 和 对 象 -关系 图 。CRC 模型 由 CRC 索引 卡片 构成 ， 每 个 CRC 卡片 列 出 类 名 、 类 的 
责任 (操作 )、 以 及 其 协作 者 类 ， 类 向 它们 发 送 消息 并 依赖 它们 完成 自己 的 次 任 。 协 作 包 
含 了 在 00 系统 的 类 之 间 的 一 系列 关系 〈 即 连接 )， 对 象 关系 模型 提供 了 类 之 间 连 接 的 图 
形 表 示 。 所 有 这 些 信息 可 以 从 OOA 模型 得 到 。 

为 评估 类 模型 ， 推 荐 采用 以 下 步骤 : 

Q 再 次 考察 CRC 模型 和 对 象 -关系 模型 ， 进 行 交叉 检查 ， 以 保证 由 OOA 模型 所 蕴 
含 的 协作 适当 地 反应 在 二 者 中 。 

@) 检查 每 个 CRC 索引 卡片 的 描述 ， 以 确定 是 否 某 被 授权 的 足 任 是 协作 者 定义 的 一 
部 分 ， 例 如 ， 某 个 POS 结账 系统 定义 的 类 ， 称 为 credit sale， 该 类 的 CRC 卡片 如 图 7-2 
所 示 。 : 

对 于 这 组 类 和 协作 ， 我 们 问 如 果 某 责任 (如 ，read credit card) 被 委托 给 指定 的 协作 
者 〈credit card),， 该 责任 是 否 将 被 完成 ， 即 ， 类 credit card 是 否 具有 一 个 操作 以 使 得 它 可 
以 被 读 。 在 本 例 的 情形 中 ， 我 们 的 回答 是 :;“ 是 ”。 遍 历 对 象 关 系 ， 以 保证 所 有 这 样 的 连 
接 是 有 效 的 。 

@ 反 转 该 连接 ， 以 保证 每 个 被 请 求 服务 的 协作 者 正在 接收 来 自 合理 源 的 请 求 ， 例 
如 ， 如 果 credit card 类 接收 来 自 credit sale 类 的 purchase amount 请 求 ， 则 将 会 有 问题 ， 
为 credit card 并 不 知道 purchase amount。 

@) 使 用 在 第 @ 步 检查 的 反 转 连接 ， 确 定 是 否 可 能 需要 其 他 的 类 ， 或 袜 任 是 否 被 合 
适 地 在 类 间 分 组 。 

@ 确定 是 否 被 广泛 请 求 的 责任 可 被 组 合 为 单个 的 资 任 , 例如 , read credit card 和 get 
authorization 在 每 种 情况 均 发 生 ， 它 们 可 以 被 组 合 为 validate credit。request 责任 ， 它 结 
合 了 获取 信用 卡号 及 获得 授权 。 : | 

@ 步骤 @~@@ 被 迭代 地 应 用 到 每 个 类 ， 并 人 贯穿 于 OOA 模型 的 每 次 演化 过 程 中 。 

一 有 旦 已 经 创建 了 设计 模型 ， 也 应 该 进行 对 系统 设计 和 对 象 设计 的 复审 。 系 统 设计 描 
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述 了 构成 产品 的 子 系统 、 子 系统 被 分 配 到 处 理 器 的 方式 ， 以 及 类 到 子 系统 的 分 配 。 对 象 
模型 表示 了 每 个 类 的 细节 和 实现 类 间 的 协作 所 必须 的 消息 序列 活动 。 


| 类 名 ， credit sale 


类 的 类 型 ， 交 易 事件 


| 类 的 特征 ， 不 确实 的 ， 原 子 的 ， 磊 序 的 ， 永 久 的 ， 受 保护 的 


So | 


i 
/ oii 
Postpurchaseamount | productticket 


| salesledger || 
| [aditfle 
| 


图 7-2 一 个 用 于 复审 的 CRC 卡片 例子 


通过 检查 在 OOA 阶段 开发 的 对 象 -行为 模型 ， 和 映射 需要 的 系统 行为 到 被 设计 用 于 
完成 该 行为 的 子 系统 来 进行 系统 设计 的 复审 。 也 在 系统 行为 的 语 境内 复审 并 发 性 和 任务 
分 配 ， 评 信 系 统 的 行为 状态 以 确定 哪些 行为 并 发 地 存在 。 

对 象 模型 应 该 针对 对 象 -关系 网 络 来 测试 , 以 保证 所 有 设计 对 象 包含 为 实现 每 张 CRC 
索引 卡片 定义 的 协作 所 必须 的 属性 和 操作 。 


7.4.3 面向 对 象 编程 ( OOP ) 的 测试 


面向 对 象 程序 所 具有 的 继承 、 封 装 和 多 态 的 新 特性 ， 使 得 传统 的 测试 策略 不 再 完全 
适用 。 封 装 是 对 数据 的 隐藏 ， 外 界 只 能 通过 被 提供 的 操作 来 访问 或 修改 数据 ， 这 样 降低 
了 数据 被 任意 修改 和 读 写 的 可 能 性 ， 降 低 了 传统 程序 中 对 数据 非法 操作 的 测试 。 继 承 是 
面向 对 和 象 程序 的 重要 特点 , 继承 使 得 代码 的 重用 率 提高 , 同时 也 使 错误 传播 的 概率 提高 。 
继承 使 得 传统 测试 遇 到 了 这 样 一 个 难题 ， 对 继承 的 代码 究竟 应 该 怎样 测试 ? 《参见 面向 
对 象 单元 测试 )。 多 态 使 得 面向 对 人 象 程序 对 外 呈现 出 强大 的 处 理 能 力 , 但 同时 却 使 得 程序 
内 “同一 ”函数 的 行为 复杂 化 ， 测 试 时 不 得 不 考虑 不 同类 型 具体 执行 的 代码 和 产生 的 
行为 。 
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面向 对 象 程序 是 把 功能 的 实现 分 布 在 类 中 。 能 正确 实现 功能 的 类 ， 通 过 消息 传递 来 
协同 实现 设计 要 求 的 功能 。 正 是 这 种 面向 对 象 程序 风格 ， 将 出 现 的 错误 能 精确 地 确定 在 
某 一 具体 的 类 。 因 此 ， 在 面向 对 象 编程 (OOP) 阶段 ， 忽 略 类 功能 实现 的 细则 ， 将 测试 
的 目光 集中 在 类 功能 的 实现 和 相应 的 面向 对 象 程序 风格 上 , 主要 体现 为 以 下 两 个 方面 ( 假 
设 编程 使 用 C++ 语言 )。 

es。 数据 成 员 是 否 满足 数据 封装 的 要 求 。 

。 类 是 否 实现 了 要 求 的 功能 。 

1. 数据 成 员 是 否 满足 数据 封装 的 要 求 

数据 封装 是 数据 和 数据 有 关 的 操作 的 集合 。 检 查 数 据 成 员 是 否 满足 数据 封装 的 
要 求 ， 基 本 原则 是 数据 成 员 是 否 被 外 界 〈 数 据 成 员 所 属 的 类 或 子 类 以 外 的 调用 ) 直接 
调用 。 更 直观 地 说 ， 当 改变 数据 成 员 的 结构 时 ， 是 否 影响 了 类 的 对 外 接口 ， 是 否 会 导致 
相应 的 外 界 必须 改动 。 值得 注意 的 是 ， 有 时 强制 的 类 型 转换 会 破坏 数据 的 封装 特性 。 
例如 


class Hiden 

{private: 

int a=1]; 

char *b= "hiden";} 
class Visible 

{public: 

int ¢=2; 

char *d= "visible ”";} 


Hiden xx; 
Visible *yy=(Visible *)&xx; 


在 上 面 的 程序 段 中 ，xx 的 私有 数据 成 员 a 和 b 可 以 通过 yy 被 随意 访问 。 

2， 类 是 否 实现 了 要 求 的 功能 

类 所 实现 的 功能 都 是 通过 类 的 成 员 函 数 执行 的 。 在 测试 类 的 功能 实现 时 ， 应 该 首先 
保证 类 成 员 函 数 的 正确 性 。 单 独 地 看 待 类 的 成 员 函 数 ， 与 面向 过 程 程序 中 的 函数 或 过 程 
没有 本 质 的 区 别 ， 几 乎 所 有 传统 的 单元 测试 中 所 使 用 的 方法 ， 都 可 在 面向 对 象 的 单元 测 
试 中 使 用 。 具 体 的 测试 方法 在 面向 对 象 的 单元 测试 中 介绍 。 类 函数 成 员 的 正确 行为 只 是 
类 能 够 实现 要 求 的 功能 的 基础 ， 类 成 员 函 数 间 的 作用 和 类 之 间 的 服务 调用 是 单元 测试 无 
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法 确定 的 。 因 此 ， 和 需要 进行 面向 对 象 的 集成 测试 。 具 体 的 测试 方法 将 在 面向 对 象 的 集成 
出 试 中 介绍 。 衢 要 着 重 声 明 的 是 ， 测 试 类 的 功能 ， 不 能 仅 满 足 于 代码 能 无 错 地 运行 或 被 
测试 类 所 提供 的 功能 无 错 ， 应 该 以 所 做 的 OOD 结果 为 依据 ， 检 测 类 提供 的 功能 是 否 满 
足 设计 的 要 求 ， 是 否 有 缺陷 。 必 要 时 还 应 该 参照 OOA 的 结果 ， 以 之 为 最 终 标准 。 


7.4.4 面向 对 象 软 件 的 单元 测试 


传统 的 单元 测试 是 针对 程序 的 函数 、 过 程 或 完成 某 一 特定 功能 的 程序 块 ， 可 沿用 单 
元 测试 的 概念 ， 来 实际 测试 类 成 员 函 数 。 一 些 传统 的 测试 方法 在 面向 对 象 的 单元 测试 中 
都 可 以 使 用 。 如 等 价 类 划分 法 、 因 果 图 法 、 边 值 分 析 法 、 逻 辑 习 证 法 、 路 径 分 析 法 、 程 
序 插 装 法 等 。 单 元 测试 一 般 建 议 由 程序 员 完 成 。 
用 于 单元 级 测试 的 测试 分 析 〈 提 出 相应 的 测试 要 求 ) 和 测试 用 例 (选择 适当 的 输入 ， 
达到 测试 要 求 )， 规 模 和 难度 等 均 远 小 于 后 面 将 介绍 的 对 整个 系统 的 测试 分 析 和 测试 用 
例 ， 而且 强 调 对 语句 应 该 有 100% 的 执行 代码 条 六 率 。 在 设计 测试 用 例 选择 输入 数据 时 ， 
可 以 基于 以 下 两 个 假设 (假设 使 用 C++ 编程 语言 ): 
。 如 果 函 数 〈 程 序 ) 对 某 一 类 输入 中 的 一 个 数据 正确 执行 ， 对 同类 中 的 其 他 输入 
也 能 正确 执行 。 

。 如果 函数 (程序 ) 对 某 一 复杂 度 的 输入 正确 执行 ， 对 更 高 复杂 度 的 输入 也 能 正 
确 执 行 。 例 如 ， 舌 要 选择 字符 串 作 为 输入 时 ， 基 于 本 假设 ， 就 无 须 计 较 字 符 串 
的 长 度 。 除 非 字 符 串 的 长 度 是 要 求 固定 的 ， 如 IP 地 址 字符 串 。 

在 面向 对 象 程序 中 ， 类 成 员 函 数 通常 都 很 小 ， 功 能 单一 ， 函 数 之 间 调 用 频繁 ， 容 易 
出 现 一 些 不 宜 发 现 的 错误 。 例 如 ;: 


if (l= =wnite (fid, buffer, amount)) error_out(); 


该 语句 没有 全 面 检 查 write(0) 的 返回 值 ， 无 意 中 只 断然 假设 了 数据 被 完全 写 入 和 没有 写 入 
两 种 情况 。 当 测试 也 忽略 了 数据 部 分 的 写 入 情况 时 , 就 给 程序 进 留 了 隐患 , 建议 加 入 else 
语句 。 
e 技 程 序 的 设计 ， 使 用 函数 strrchr0 查 找 最 后 的 匹配 字符 ， 但 错误 程序 中 写成 了 函 
数 strchr0， 使 程序 功能 实现 时 查找 的 是 第 一 个 匹配 字符 。 
s .程序 中 将 if (stmcmp(strl,str2,strlen(strl))) 误 写成 了 if (stmcmp(strl,str2,strjen 
(str2)))。 如 果 测 试用 例 中 使 用 的 数据 str1 和 str2 长 度 一 样 ， 就 无 法 检测 出 来 。 
因此 ， 在 做 测试 分 析 和 设计 测试 用 例 时 ， 应 该 注意 面向 对 音程 序 的 这 个 特点 ， 仔 细 
地 进行 测试 分 析 和 设计 测试 用 例 ， 尤 其 是 针对 以 函数 返回 值 作为 条 件 判断 选择 ， 字 符 串 
操作 等 情况 。 
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面向 对 象 编程 的 特性 使 得 对 成 员 函 数 的 测试 ， 不 完全 等 同 于 传统 的 函数 或 过 程 测 
试 。 尤 其 是 继承 特性 和 多 态 特 性 ， 使 子 类 继承 或 过 载 的 父 类 成 员 函 数 出 现 了 传统 测试 中 
未 遇见 的 问题 。Brian Marick 给 出 了 两 方面 的 考虑 如 下 ; 

。 继承 的 成 员 函 数 是 否 都 不 需要 测试 。 

对 父 类 中 已 经 测试 过 的 成 员 函 数 ， 有 两 种 情况 希 要 在 子 类 中 重新 测试 ; 

G 继承 的 成 员 函 数 在 子 类 中 做 了 改动 ; 成 员 函 数 调用 了 改动 过 的 成 员 函 数 的 部 
分 。 例 如 : 假设 父 类 Bass 有 两 个 成 员 函 数 : InheritedO0 和 Redefined0， 子 类 Derived 只 对 
Redefined0 做 了 改动 。Derived::Redefined0 显 然 需 要 重新 测试 。 对 于 Derived::Inherited()， 
如 果 它 有 调用 RedefinedO 的 语句 《如 ; x-X/RedefinedO )， 就 需要 重新 测试 ， 反 之 ， 无 此 
必要 。 

e 对 父 类 的 测试 是 否 能 照搬 到 子 类 。 

” 延 用 上 面 的 假设 ，Base::RedefinedO 和 Derived::Redefined0) 已 经 是 不 同 的 成 员 函 数 ， 
它们 有 不 同 的 服务 说 明和 执行 。 对 此 ， 照 理应 该 对 Derived::Redefined0 重 新 进行 测试 分 
析 ， 设 计 测 试用 例 。 但 由 于 面向 对 象 的 继承 使 得 两 个 函数 有 相似 之 处 ， 故 只 需 在 
Base::RedefinedO0 的 测试 要 求 和 测试 用 例 上 添加 对 Derived::Redfined() 的 新 的 测试 要 求 和 
增补 相应 的 测试 用 例 。 例 如 ; Base::Redefined0 函 数 中 含有 如 下 语句 


If (value<0) message ("less"); 

else if (value==0) message ("equal); 

else message ("more"); 
”Derived::Redfined() 中 定义 为 

lf (value<0) message ("less"); 

else if (value==0) message ("It is equal 人; 

else 

{message ("more); 

if (value—99)message( "luck"),} 


在 原 有 的 测试 上 ， 对 Derived::RedfinedO 的 测试 只 需 做 如 下 改动 ， 将 value 一 0 的 测 
试 结 果 期 望 改动 ， 增 加 value==99 的 测试 。 

多 态 有 几 种 不 同 的 形式 ， 如 参数 多 态 、 包含 多 态 、 过 载 多 态 。 包 含 多 态 和 过 载 多 态 
在 面向 对 象 语言 中 通常 体现 在 子 类 与 父 类 的 继承 关系 上 ， 对 这 两 种 多 态 的 测试 参见 上 述 
对 父 类 成 员 函 数 继承 和 过 载 的 论述 。 包 含 多 态 虽 然 使 成 员 函 数 的 参数 可 有 多 种 类 型 ， 但 
遂 弟 只 是 增加 了 测试 的 复杂 度 。 对 具有 包含 多 态 的 成 员 函 数 进行 测试 时 ， 只 需要 在 原 有 
的 测试 分 析 和 基础 上 增加 对 测试 用 例 中 输入 数据 的 类 型 的 考虑 。 
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7.4.5 面向 对 象 软件 的 集成 测试 


因为 面 丫 对象 软件 没有 层次 的 控制 结构 ， 传 统 的 自 顶 疝 下 和 上 自 底 向 上 集成 策略 就 没 
有 意义 ， 而 且 ， 一 次 集成 一 个 操作 到 类 中 【〈 传 统 的 增 重 集成 方法 ) 经 常 是 不 可 能 的 ， 这 
是 由 于 “构成 类 的 成 分 的 直接 和 间接 的 交互 ”。 

此 外 ， 传 统 的 目 底 同上 通过 集成 完成 的 功能 模块 测试 ， 一 般 可 以 在 部 分 程序 编译 
完成 的 情况 下 进行 。 而 对 于 面 同 对 象 程序 ， 相 互 调用 的 功能 是 散布 在 程序 的 不 同类 中 
的 ， 类 通过 消 妃 相互 作用 申请 和 提供 服务 。 类 的 行为 与 它 的 状态 密切 相关 ， 状 态 不 仅 
仅 是 体现 在 类 数据 成 员 的 值 ， 也 许 还 包括 其 他 类 中 的 状态 信息 。 由 此 可 见 ， 类 之 间 的 
相互 依赖 极其 紧密 ， 根 本 无 法 在 编译 不 完全 的 程序 上 对 类 进行 测试 。 所 以 ， 面 向 对 象 
的 集成 测试 通 笛 需 要 在 整个 程序 编译 完成 后 进行 。 此 外 ,面向 对 象 程序 具有 动态 特性 ， 
程序 的 控制 流 往往 无 法 确定 ， 因 此 ， 也 只 能 对 整个 编译 后 的 程序 做 基于 黑 盒子 的 集成 
测试 。 

对 OO 软件 的 集成 测试 有 两 种 不 同 的 策略 , 第 一 种 称 为 基于 线程 的 测试 (thread based 
testing), 集成 对 回应 系统 的 一 个 输入 或 事件 所 需 的 一 组 类 , 每 个 线程 被 集成 并 分 别 测试 ， 
应 用 回归 测试 以 保证 没有 产生 副作用 。 第 二 种 称 为 基于 使 用 的 测试 (use based testing)， 
通过 测试 那些 几乎 不 使 用 服务 器 类 的 类 〈 称 为 独立 类 ) 而 开始 构造 系统 ， 在 独立 类 测试 
完成 后 ， 下 一 层 中 使 用 独立 类 的 类 〈 称 为 依赖 类 ) 被 测试 。 这 个 依赖 类 层次 的 测试 序列 
一 直 持续 到 构造 完整 个 系统 。 序 列 和 传统 集成 不 同 ， 使 用 驱动 器 和 桩 (stubs) 作为 苦 代 
操作 是 要 尽 可 能 避免 的 。 

面向 对 象 的 集成 测试 ， 能 够 检测 出 相对 独立 的 ， 单 元 测试 无 法 检测 出 的 ， 那 些 类 相 
互 作用 时 才 会 产生 的 错误 。 基 于 单元 测试 对 成 员 函 数 行为 正确 性 的 保证 ， 集 成 测试 只 关 
注 于 系统 的 结构 和 内 部 的 相互 作用 。 面 向 对 象 的 集成 测试 可 以 分 成 两 步 进 行 ， 先 进行 静 
态 测 试 ， 再 进行 动态 测试 。 

静态 测试 主要 针对 程序 的 结构 进行 ， 检 测 程序 结构 是 否 符合 设计 要 求 。 现 在 流行 的 
一 些 测试 软件 都 能 提供 一 种 称 为 “可 道 性 工程 ”的 功能 ， 即 通过 源 程序 得 到 类 关系 图 和 
函数 功能 调用 关系 图 ， 例 如 Intemational Software Automation 公司 的 Panorama-2 for 
Windows 95、Rational 公司 的 Rose C++ Analyzer 和 等， 将“ 可逆 性 工程 ”得 到 的 结果 与 
OOD 的 结果 相 比 较 ， 检 测 程序 结构 和 实现 上 是 否 有 人 缺陷 。 换 名 话说， 通过 这 种 方法 检测 
OOP 是 否 达 到 了 设计 要 求 。 : 

动态 测试 设计 测试 用 例 时 ， 通 常 需 要 上 述 的 功能 调用 结构 图 、 类 关系 图 或 者 实体 关 
系 图 为 参考 ， 确 定 不 稍 要 第 重复 测试 的 部 分 ， 从 而 优化 测试 用 例 ， 减 少 铀 试 工作 量 ， 使 
得 进行 的 测试 能 够 达到 一 定 轿 盖 标 准 。 测 试 所 要 达到 的 粒 益 标准 可 以 是 ;达到 类 所 有 的 
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服务 要 求 或 服务 提供 的 一 定 团 益 率 ， 依 据 类 间 传 递 的 消息 ， 达 到 对 所 有 执行 线程 的 一 定 
狠 盖 率 ; 达到 类 的 所 有 状态 的 一 定 覆 盖 率 等 。 Bd A 
来 得 到 程序 代码 执行 的 被 盖 率 。 

具体 设计 测试 用 例 ， 可 参考 下 列 步骤 。 

(D 先 选 定 检测 的 类 ， 参 考 OOD 分析 结果 ， 仔 细 确 定 出 类 的 状态 和 相应 的 行为 ， 类 
或 成 员 函 数 间 传 递 的 消息 ， 输 入 或 输出 的 界定 等 。 

@ 确定 覆盖 标准 。 

@ 利用 结构 关系 图 确定 待 测 类 的 所 有 关联 。 

@ 根据 程序 中 类 的 对 象 构造 测试 用 例 ， 确 认 使 用 什么 输入 激发 类 的 状态 ， 使 用 类 
的 服务 和 期 望 产生 什么 行为 等 。 

值得 注意 的 是 ， 设 计 测 试用 例 时 ， 不 但 要 设计 确认 类 功能 满足 的 输入 ， 还 应 该 有 意 
识 地 设计 一 些 被 禁止 的 例子 ， 确 认 类 是 否 有 不 合法 的 行为 产生 ， 如 发 送 与 类 状态 不 相 适 
应 的 消息 ， 要 求 不 相通 应 的 服务 等 。 根据 具体 稍 况 ， 动 态 的 集成 测试 ， 有 了 时 也 可 以 通过 
系统 测试 完成 。 


7.4.6 面向 对 象 软件 的 确认 和 系统 测试 


通过 单元 测试 和 集成 测试 ， 仅 能 保证 软件 开发 的 功能 得 以 实现 ， 但 不 能 确认 在 实际 
运行 时 ， 它 是 否 能 够 满足 用 户 的 需要 ， 是 否 大量 地 存在 着 实际 使 用 条 件 下 会 被 诱发 产生 
错误 的 隐患 。 为 此 ， 对 完成 开发 的 软件 必须 进行 规范 的 系统 测试 。 即 需要 测试 它 与 系统 
其 他 部 分 配套 运行 的 表现 ， 以 确保 在 系统 各 部 分 协调 工作 的 环境 下 软件 也 能 正常 运行 。 

系统 测试 应 该 尽量 措 建 与 用 户 实际 使 用 环境 相同 的 测试 平台 ， 应 汪 信 证 攻关 革 
完整 性 ， 对 暂时 没有 的 系统 设备 部 件 ， 应 采取 相应 的 模拟 手段 。 系统 测试 时 ， 应 该 参考 
OOA 分 析 的 结果 ， 对 应 描述 的 对 象 、 属 性 和 各 种 服务 ， 检 测 软件 是 否 能 够 完全 “再 现 ” 
问题 空间 。 系 统 测 试 不 仅 是 检测 软件 的 整体 行为 表现 ， 从 另 一 个 侧面 看 ， 也 是 对 软件 开 
发 设计 的 再 确认 。 

在 系统 层次 ， 类 连接 的 细节 消失 了 。 和 传统 有 效 性 测试 一 样 ，OO 软件 的 有 效 性 集 
中 在 用 户 可 见 的 动作 和 用 户 可 识别 的 系统 输出 上 。 为 了 协助 有 效 性 测试 的 导出 ， 测 试 人 
员 应 该 利用 作为 分 析 模 型 一 部 分 的 使 用 实例 ， 使 用 实例 提供 了 在 用 户 交 互 需 求 中 很 可 能 
发 现 错误 的 一 个 场景 。 传 统 的 黑 盒 测试 方法 可 被 用 于 驱动 有 效 性 测试 ， 此 外 ， 测 试用 例 
可 以 从 对 象 -行为 模型 和 作为 OOA 的 一 部 分 的 事件 流 图 中 导出 。 系 统 测试 需要 对 被 测 的 
软件 结合 需求 分 析 做 仔细 的 测试 分 析 ， 建 立 测试 用 例 。 

OO 软件 确认 和 系统 测试 具体 的 测试 内 容 与 传统 系统 测试 基本 相同 ， 包 括 : 功能 测 
试 . 强 度 测试 ,性 能 测试 .安全 测试 .恢复 测试 . 易 用 性 测试 .安装 /卸载 测试 (instalyuninstall 
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test) 等 ， 此 处 不 再 约 述 。 


7.5 面向 对 象 软件 测试 用 例 设计 


和 传统 测试 用 例 设计 不 同 ， 传 统 测试 是 由 软件 的 输入 -加 工 -输出 视图 或 个 体 模块 的 
算法 细节 驱动 的 ， 面 同 对 象 测试 关注 于 设计 合适 的 操作 序列 以 测试 类 的 状态 。 

Berard 提出 了 一 些 测试 用 例 的 设计 方法 ， 主 要 原则 包括 : 

e。 对 每 个 测试 用 例 应 当 给 予 特殊 的 标识 ， 并 且 还 应 当 TO 明确 的 联系 。 

。 测试 目的 应 当 明 确 。 

。 应 当 为 每 个 测试 用 例 开发 一 个 测试 步 又 列表 。 这 个 列表 应 包含 以 下 一 些 内 容 : 

QD 列 出 所 要 测试 的 对 象 的 专门 说 明 。 

包 列 出 将 要 作为 测试 结果 运行 的 消息 和 操作 。 

@ 列 出 测试 对 象 可 能 发 生 的 例外 情况 。 

列 出 外 部 条 件 〈 即 为 了 正确 对 软件 进行 测试 所 必须 有 的 外 部 环境 的 变化 )。 

列 出 为 了 帮助 理解 和 实现 测试 所 需要 的 附加 信息 。 


7.5.1 ”传统 测试 用 例 设计 方法 的 可 用 性 


如 前 所 述 ， 尽 管 OO 软件 的 局 域 性 、 封 效 性 、 信 息 隐 藏 、 继 承 性 和 对 象 的 抽象 这 些 
特性 使 得 测试 用 例 设 计 带 来 了 额外 的 麻烦 和 国难 , 但 黑 盒 测试 技术 不 仅 适 用 于 传统 软件 ， 
也 适用 于 00 软件 测试 , use cases 可 以 为 黑 盒 及 基于 状态 的 测试 的 设计 提供 有 用 的 输入 。 
白 盒 测试 也 用 于 00 软件 类 的 操作 定义 ， 基 本 路 径 、 循 环 测试 或 数据 流 技术 ， 可 以 帮助 
保证 已 经 测试 了 操作 中 的 每 一 条 语句 。 但 00 软件 中 许多 类 的 操作 结构 简 学 明了 ， 所 以 
有 人 认为 在 类 层 上 测试 可 能 要 比 传统 软件 中 的 白 盒 测 试 方便 。 


7.5.2 ”基于 故障 的 测试 


在 00 软件 中 ， 菇 于 故障 的 测试 具有 较 电 的 发 现 可 能 故障 的 能 力 。 由 于 系统 以 满足 
”用 户 的 需求 为 目的 ， 因 此 ， 基 于 故 陈 的 测试 要 从 分 析 模 型 开始 ， 考 察 可 能 发 生 的 故障 。 
为 了 确定 这 些 故 障 是 否 存在 ， 可 设计 用 例 去 执行 设计 或 代码 。 

看 一 个 简单 的 例子 。 软 件 开 发 人 员 经 常 忽略 问题 的 边界 ， 例 如 ， 当 测试 Divide 操作 
(该 操作 对 负数 和 零 返 回 错 误 ) 时 ， 我 们 考虑 边 寞 ,“ 零 本 映 ” 用 于 检 副 是 否 程 序 员 犯 了 
如 下 错误 ; 


if(x>O) divide(); 
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而 不 是 正确 的 : 
if (x>=O) divide(); 


当然 ， 这 种 方法 的 有 效 性 依赖 于 测试 人 员 如 何 可 感觉 “似乎 可 能 的 故障 ”， 如 果 OO 系统 中 
的 真实 故障 被 感觉 为 “难以 置信 的 ”， 则 本 方法 实质 上 不 比 任何 随机 测试 技术 好 。 但 是 ， 
如 果 可 以 从 分 析 和 设计 模型 进行 深入 的 检查 ， 人 
作 量 来 发 现 大 和 量 的 错误 。 

基于 故障 测试 也 可 以 用 于 集成 测试 ， 集成 测试 可 以 发 现 消 息 联系 中 “可 能 的 故障 ”。 

“可 能 的 故障 ”一 般 为 意料 之 外 的 结果 、 错 误 地 使 用 了 操作 /消息 、 不 正确 的 引用 等 。 
为 了 确定 由 操作 功能 ) 引起 的 可 能 故障 必须 检查 操作 的 行为 。 

这 种 方法 除 用 于 操作 测试 外 ， 还 可 用 于 属性 测试 ， 用 以 确定 其 对 于 不 同类 型 的 对 
象 行为 是 否 赋予 了 正确 的 属性 值 。 因 为 一 个 对 象 的 “ 届 性 ” 是 由 其 赋予 属 性 的 值 定 
义 的 。 

应 当 指 出 ， 集 成 测试 是 从 客户 对 象 《主动 )， 而 不 是 从 服务 器 对 象 〈 被 动 ) 上 发 现 
错误 。 正如 传统 的 软件 集成 测试 是 把 注意 力 集中 在 调用 代码 ， 而 不 存 锌 调用 代码 一 样 ， 
即 发 现 客 户 对 象 中 “可 能 的 故障 ”。 


7.5.3 ”基于 场景 的 测试 


基于 故障 的 测试 减少 了 两 种 主要 类 型 的 错误 : | | 

@ 不 正确 的 规格 说 明 ， 如 做 了 用 户 不 需要 的 功能 ， 也 可 能 缺少 了 用 户 需 要 的 功能 。 

@ 没有 考虑 子 系统 间 的 交互 作用 ， 如 一 个 子 系统 〈 事 件 或 数据 流 等 ) 的 建立 ， 导 
臻 其 他 子 系统 的 失败 。 

基于 场景 的 测试 主要 关注 用 户 需要 做 什么 , 而 不 是 产品 能 做 什么 , 即 从 用 户 任务 (使 
用 用 例 ) 中 找 出 用 户 要 做 什么 及 如 何 去 执 行 。 

这 种 基于 场景 的 测试 有 助 于 在 一 个 单元 测试 情况 下 检查 多 重 系统 。 所 以 基于 场景 测 
试用 例 的 测试 比 基 于 故障 测试 的 更 实际 〈 接 近 用 户 )， 而 且 更 复杂 一 点 。 

例如 考察 一 个 OA 软件 的 基于 场景 测试 的 用 例 设计 。 

使 用 用 例 ， 确 定 最 终 设计 。 

背景 ， 打 印 最 终 设计 ， 并 能 从 预览 窗口 上 发 现 一 些 不 易 察觉 的 错误 。 

其 执行 事件 序列 : 打印 整个 文件 ， 对 文件 进行 前 切 、 复 制 、 粘 贴 、 移 动 等 修改 操作 
修改 文件 后 ， 进 行文 件 预览 ， 进 行 多 页 预览 

显然 ， 测 试 人 员 希 望 发 现 预览 和 编辑 这 两 个 软件 功能 是 否 能 够 相互 依赖 ， 否 则 就 会 
产生 错误 。 
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7.5.4 ”OO 类 的 随机 测试 


如 果 一 个 类 有 多 个 操作 《〈 功 能 )， 这 些 操作 〈 功 能 ) 序列 有 多 种 排列 。 而 这 种 不 变 
化 的 操作 序列 可 随机 产生 ， 用 这 种 可 随机 排列 的 序列 来 检查 不 同类 实例 的 生存 史 ， 就 叫 
随机 测试 。 

例如 ， 一 个 银行 信用 卡 的 应 用 ， 其 中 有 一 个 类 :账户 (account)。 该 account 的 操作 
有 open、setup、deposit、withdraw、balance、summarize、creditlimit 和 close。 这 些 操作 
中 的 每 一 项 都 可 用 于 计算 , 但 open、close 必须 在 其 他 计算 的 任何 一 个 操作 前 后 执行 ， 即 
使 open 和 close 有 这 种 限制 ， 这 些 操作 仍 有 多 种 排列 ， 所 以 一 个 不 同 变 化 的 操作 序列 可 
由 于 应 用 不 同 而 随机 产生 。 如 一 个 account 实例 的 最 小 行为 转换 期 可 包括 以 下 操作 : 


open+setup+deposittwithdraw+close 
这 表示 了 对 account 的 最 小 测试 序列 。 然 而 ， 在 下 面 序 列 中 可 能 发 生 大 量 的 其 他 行为 : 


open+setup+deposit+ [deposit|withdraw|balancelsummarize|creditLimit] +withdraw+close 

由 此 可 以 随机 产生 一 系列 不 同 的 操作 序列 ， 例 如 ， 

测试 用 例 |: opentsetuptdeposit+deposittbalancetsummarize+withdraw+close 

测试 用 例 2: opentsetuptdeposit+withdraw-+deposittbalancetcreditLimit+withdraw+t close 

可 以 执行 这 些 测试 和 其 他 的 随机 顺序 测试 ， 以 测试 不 同 的 类 实例 生命 历史 。 

7.5.5 ”类 层次 的 分 割 测试 
这 种 测试 可 以 减少 用 完全 相同 的 方式 检查 类 测试 用 例 的 数目 。 这 很 像 传统 软件 测试 
中 的 等 价 关 划分 测试 。 分 割 测试 又 可 分 为 三 种 。 

。 基于 状态 的 分 割 。 技 类 操作 是 否 改 变 类 的 状态 来 进行 分 割 《〈 归 类 )。 这 里 仍 用 
account 类 为 例 ， 改 变 状态 的 操作 有 deposit、withdraw， 不 改变 状态 的 操作 有 
balance、summarize、creditlimit。 如 果 测 试 按 检 查 类 操作 是 否 改变 类 状态 来 设计 ， 
则 结果 如 下 : 

[用 例 1]: 执行 操作 改变 状态 
Open+setup+deposit+deposit+withdraw+withdraw+close 
[用 例 2]: 执行 操作 不 改变 状态 
opent+setup+deposit+summarize+creditlimit+withdraw+close 


。 基于 属性 的 分 割 。 按 类 操作 所 用 到 的 属性 来 分 割 〈 归 类 )， 如 果 仍 以 一 个 account 
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类 为 例 ， 其 属性 creditlimit 能 被 分 割 为 三 种 操作 ， 用 creditlimit 的 操作 ， 修 改 
creditlimit 的 操作 ， 不 用 也 不 修改 creditlimit 的 操作 。 这 样 ， 测 试 序列 就 可 按 每 
”种 分 割 来 设计 。 
。 基于 类 型 的 分 割 。 按 完成 的 功能 分 ( 归 类 )。 例 如 ， ed 类 的 操作 中 ， 
可 以 分 割 为 初始 操作 :open、setup; 计算 操作 :deposit、withdraw: 和 


balance、summarize、creditlimit， 终 止 操作 ，close。 


7.5.6 ”由 行为 模型 ( 状态、 活动 、 顺 序 和 合作 图 ) 导出 的 测试 


状态 转换 图 (STD ) 可 以 用 来 帮助 导出 类 的 动态 行为 的 测试 序列 ， 以 及 这 些 类 与 之 
合作 的 类 的 动态 行为 测试 序列 。 

为 了 说 明 问 题 , 仍 使 用 前 面 讨 论 过 的 account 类 。 开始 由 empty acct 状态 转换 为 setup 
acct 状态 。 类 实例 的 大 多 数 行为 发 生 在 working acct 状态 中 。 而 最 后 ， 取 款 和 关闭 分 别 
使 account 类 转换 到 non-working acct 和 dead acct 状态 。 如 图 7-3 所 示 为 状态 转换 图 
(STD), 


图 7-3 ”状态 转换 图 (STD) 


这 样 ， 设 计 的 测试 用 例 应 当 是 完成 所 有 的 状态 转换 。 换 句 话 说 ， 操 作 序 列 应 当 能 导 
致 account 类 所 有 人 允许 的 状态 进行 转换 。 


www.TopSage.com 


222 软件 评测 师 教程 


测试 用 例 1， opent+setupAccttdeposit(initial)+withdraw(final)+close; 

应 该 注意 ， 该 序列 等 同 于 一 个 最 小 测试 序列 ， 加 入 其 他 测试 序列 到 最 小 序列 中 。 

测试 用 例 2: open+tsetupAccnttdepositinitial) +deposit+balance+credit+withdraw(finaD+ 
Close; 

测试 用 例 3，open+setupAccnt+deposit(initial) +deposittwithdraw-+accntinfo+withdraw 
(final) +close。 

还 可 以 导出 更 多 的 测试 用 例 ， 以 保证 该 类 所 有 行为 被 充分 检查 ， 在 类 行为 导致 与 一 
个 或 多 个 类 协作 的 情况 下 ， 可 使 用 多 个 STD 去 跟踪 系统 的 行为 流 。 

面向 对 象 测试 的 整体 目标 一 一 以 最 小 的 工作 量 发 现 最 多 的 错误 ， 和 传统 软件 测试 的 
目标 是 一 致 的 , 但 是 由 于 OO 软件 具有 的 特殊 性 质 , 在 测试 的 策略 和 战术 上 有 很 大 不 同 。 
测试 的 视角 扩大 到 包括 复审 分 析 和 设计 模型 ， 此 外 ， 测 试 的 焦点 从 过 程 构件 (模块 ) 移 
向 了 类 。 

@ O00A (Object-Oriented Analysis) 和 OOD (Object-Oriented Design) 的 评审 与 传 
统 软件 的 分 析 和 设计 相同 ， 应 给 出 相应 的 评审 检查 表 。 

@@ 00P (Object-Oriented Programming〉 后 ， 单 元 和 组 装 测试 策略 必须 作 相 应 的 
改变 。 

@ 测试 用 例 设计 必须 说 明 OO 软件 特有 的 性 质 。 
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8.1 负载 压力 测试 概述 


8.1.1 人 负载 压力 基础 概念 


系统 的 负载 压力 是 指 系统 在 某 种 指定 软件 、 硬 件 以 及 网 络 环境 下 承受 的 流量 ， 例 如 
并 发 用 户 数 、 持 续 运 行 时 间 、 数 据 重 等 ， sR te 例如 
当 一 个 应 用 程序 在 少量 用 户 同时 使 用 的 时 候 , . 程序 可 能 会 正常 运行 ， 然 而 ， 当 有 大 量 用 
OC 


8.1.2 ”负载 压力 测试 基础 概念 


| 负载 压力 测试 是 指 在 一 定 约束 条 件 下 测试 系统 所 能 承受 的 并 发 用 户 量 、 运 行 时 间 、 
数据 量 ， 以 确定 系统 所 能 承受 的 最 大 负载 压力 。 

负载 压力 测试 有 助 于 确认 被 测 系统 是 否 能 够 支持 性 能 需求 ， 以 及 预期 的 负载 增长 
等 。 负 载 压 力 测试 不 只 是 关注 不 同 负载 场景 下 的 响应 时 间 等 指标 ， 它 也 要 通过 测试 来 发 
现在 不 同 负载 场景 下 会 出 现 的 ， 例 如 速度 变 慢 、 内 存 洪 漏 等 问题 的 原因 。 因 此 ， 应 该 在 
开发 过 程 中 尽 可 能 早 地 进行 负载 压力 测试 。 

负载 压力 测试 是 性 能 测试 的 重要 组 成 部 分 ， 负 载 压力 测试 包括 并 发 性 能 测试 、 疲 劳 
强度 测试 、 大 数据 量 测试 等 内 容 。 下 面 分 别 介绍 这 些 概念 。 

1. 性 能 测试 

系统 的 性 能 是 一 个 很 大 的 概念 ， 覆 盖 面 非常 广泛 ， 对 一 个 软件 系统 而 言 ， 包 括 执行 
效率 、 资 源 占 用 、 稳 定性 、 安 全 性 、 鳞 容 性 、 可 扩展 性 、 可 车 性 等 ， 我 们 这 里 重点 讨论 
的 负载 压力 是 系统 性 能 的 一 个 重要 方面 。 性 能 测试 用 来 保证 产品 发 布 后 系统 的 性 能 能 够 
满足 用 户 和希 求 。 性 能 测试 在 软件 质量 保证 中 起 重要 作用 。 通 常情 况 下 存在 性 能 调 优 与 性 
能 评测 两 种 性 能 测试 策略 。 

2. 性 能 评测 

性 能 评测 主要 内 容 包括 以 下 两 项 内 容 。 

e 在 真实 环境 下 ， 检 查 系统 服务 等 级 的 满足 情况 ， 评 估 并 报告 整个 系统 的 性 能 . 

e。 ”对 系统 的 未 来 容量 作出 预测 和 规划 。 
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性 能 评测 是 性 能 调 优 的 基础 。 

3。 性 能 调 优 

性 能 调 优 的 步骤 如 下 。 

e 查找 形成 系统 瓶颈 或 者 故障 的 根本 原因 。 

。 进行 性 能 调整 和 优化 。 

e。 评估 性 能 调整 的 效果 。 

在 通常 情况 下 ， 性 能 调 优 的 过 程 是 上 述 步 又 循环 执行 的 过 程 ， 以 实现 目标 。 

4。 负载 测试 

负载 测试 是 通过 逐步 增加 系统 负载 ， 测 试 系 统 性 能 的 变化 ， 并 最 终 确定 在 满足 性 能 
指标 的 情况 下 ， 系 统 所 能 承受 的 最 大 负载 量 的 测试 。 

5。 上 庄 力 测试 

压力 测试 是 通过 逐步 增加 系统 负载 ， 测 试 系统 性 能 的 变化 ， 并 最 终 确 定 在 什么 负载 
条 件 下 系统 性 能 处 于 失效 状态 ， 并 以 此 来 获得 系统 能 提供 的 最 大 服务 级 别 的 测试 。 通 俗 
地 讲 ， 压 力 测 试 是 为 了 发 现在 什么 条 件 下 系统 的 性 能 会 变 得 不 可 接受 。 

可 见 ， 压 力 测试 是 一 种 特定 类 型 的 负载 测试 。 例 如 ， 访 问 一 个 页 面 的 响应 时 间 规 定 


为 不 超过 1 秒 ， 负 载 测 试 就 是 测试 在 啊 应 时 间 为 1 秒 时 ， 系 统 所 能 承受 的 圾 大 并 发 访问 ”. 


用 户 的 数量 ， 而 压力 测试 就 是 测试 系统 在 多 大 的 并 发 访问 用 户 数 量 下 ， 啊 应 时 间 不 可 接 
受 ， 例 如 超过 1 分 钟 (定义 为 失效 状态 )。 

6. 并 发 性 能 测试 

并 发 性 能 测试 的 过 程 ， 是 一 个 负载 测试 和 压力 测试 的 过 程 。 即 逐 渐 增 加 并 发 用 户 
数 负载 ， 直 到 系统 的 瓶颈 或 者 不 能 接收 的 性 能 各 ， 遂 过 综合 分 析 交 易 执 行 指标 、 资 
源 监控 指标 等 来 确定 系统 并 发 性 能 的 过 程 。 并 发 性 能 测试 是 负载 压力 测试 中 的 重要 
内 容 。 

从 一 个 完整 解决 方案 的 角度 考虑 ， 并 发 性 能 测试 概括 为 以 下 3 类 。 

。 应 用 在 客户 端 性 能 的 测试 ; 

e。 应 用 在 网 络 上 性 能 的 测试 
” e 应 用 在 服务 器 上 性 能 的 测试 。 

7. 疲劳 强度 测试 

通常 是 采用 系统 稳定 运行 情况 下 能 够 支持 的 最 大 并 发 用 户 数 ， 或 者 日 营运 行 用 户 
数 ， 持 续 执 行 一 段 时 间 业 务 ， 保 证 达到 系统 疲劳 强度 需求 的 业务 量 ， 通 过 综合 分 析 区 易 
热 行 指标 和 资源 监控 指标 ， 来 确定 系统 处 理 最 大 工作 重 强度 性 能 的 过 程 。 一 般 情况 下 利 
用 疲劳 强度 测试 来 模拟 系统 日 常 业务 操作 。 

在 后 面 章节 的 实例 部 分 有 相关 举例 。 
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8， 大 数据 量 测试 

大 数据 量 测试 包括 独立 的 数据 量 测试 和 综合 数据 量 测试 两 类 。 

独立 的 数据 量 测 试 指针 对 某 些 系 统 存储 、 传 输 、 统 计 、 查询 等 业务 进行 的 大 数据 量 
测试 。 

综合 数据 盟 测 试 指 和 压力 性 能 测试 、 负 载 性 能 测试 、 疲 劳 性 能 测试 相 结 合 的 综合 
测试 。 


8.1.3 ”人 负载 压力 测试 目的 


这 是 一 个 很 重要 的 问题 ， 也 是 测试 前 首先 要 考虑 的 问题 。 

”我 们 经 常 昕 到 “很 多 人 都 在 使 用 系统 时 ， 响 应 时 间 太 慢 了 ， 到 底 问 题 在 哪里 ”这 样 
的 用 户 抱怨 。. 类 似 的 间 题 还 有 “要 花 多 少时 间 做 完 一 笔 交 易 ; 什么 样 的 配置 提供 了 最 好 
的 性 能 ， 系 统 能 在 无 错 情 况 下 承担 多 大 及 多 长 时 间 的 负载 ， 这 些 升级 对 系统 性 能 影响 多 
大 ; 服务 器 应 该 选择 哪些 硬件 与 软件 ， 在 没有 较 大 性 能 衰减 的 前 提 下 ， 系 统 能 够 承受 多 
大 负载 ， 哪 些 因 素 降 低 交 易 响 应 时 间 ” 等 等 ， 这 样 直观 的 问题 描述 代表 了 测试 舌 求 ， 也 
由 此 决定 了 测试 目的 。 

负载 压力 测试 的 目的 可 以 概括 为 以 下 几 个 方面 。 

。 在 真实 环境 下 检测 系统 性 能 ， 评 估 系 统 性 能 以 及 服务 等 级 的 满足 情况 。 

例如 电信 计 费 软件 ， 众 所 周知 ， 每 月 20 日 左右 是 市 话 交 费 的 高 峰 期 ， 全 市 几 千 个 
收费 网 点 同时 启动 。 收 费 过 程 一 般 分 为 两 步 ， 首 先 要 根据 用 户 提出 的 电话 号 码 来 查询 出 
其 当月 产生 费用 ， 然 后 收取 现金 并 将 此 用 户 修改 为 已 交 间 状态 。 一 个 看 起 来 简单 的 两 个 
步骤 ， 当 成 百 上 千 的 终端 同时 执行 这 样 的 操作 时 情况 就 大 不 一 样 了 ， 如 此 众多 的 交易 同 
时 发 生 ， 对 应 用 程序 本 身 、 操 作 系统 、 中 心 数据 库 服务 器 、 中 间 件 服务 器 、 网 络 设备 的 
承受 力 都 是 一 个 严峻 的 考验 。 决 策 者 需要 模拟 系统 负载 压力 ， 预 见 软 件 的 并 发 承受 力 ， 
这 是 在 测试 阶段 就 应 该 解决 的 重要 问题 。 

一 个 企业 目 己 组 织 力量 或 委托 软件 公司 代为 开发 的 应 用 系统 ， 在 生产 环境 中 实际 使 
用 起 来 以 后 ， 往 往 会 产生 这 样 一 个 问题 ， 即 这 套 系统 能 不 能 承受 大 量 的 并 发 用 户 同 时 访 
问 ， 这 个 问题 是 系统 负载 压力 需求 的 体现 。 

这 里 强调 在 真实 环境 下 检测 系统 性 能 ， 在 实施 过 程 中 大 家 认为 这 样 做 会 过 到 很 多 阻 
力 ， 比 如 系统 上 线 运行 之 后 ， 真 实 环境 下 不 允许 负载 压力 测试 为 系统 带 来 大 量 的 垃圾 数 
据 ， 测 试 数据 与 真实 业务 数据 混在 一 起 无 法 控制 测试 结果 ， 负 和 载 压 力 测试 如 果 使 服务 器 
宕 机 会 给 系统 带 米 巨大 损失 等 。 那 么 在 这 种 条 件 不 允许 的 情况 下 ， 应 该 采用 什么 样 的 措 
施 弥补 呢 ? 我 们 可 以 使 用 一 种 “模拟 环境 ”来 做 测试 ， 这 种 环境 是 指 与 实际 真实 应 用 环 
境 基本 等 级 保持 一 致 的 测试 环境 。 
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。 预见 系统 负载 压力 承受 力 ， 在 应 用 实际 部 署 之 前 ， 评 估 系 统 性 能 。 

目前 的 大 多 数 公司 企业 需要 支持 成 百 上 二 名 用 户 ， 各 类 应 用 环境 ， 以 及 由 不 同 供应 
丙 的 元 件 组 疙 起 来 的 复杂 产品 。 难 以 预知 的 用 户 负 载 和 越 来 越 复 杂 的 应 用 程序 ， 使 公司 
时 时 担忧 会 发 生 投放 性 能 差 ， 用 户 担 受 反 应 慢 ， 系 统 失灵 等 问题 。 其 结果 就 是 导致 公司 
收益 的 损失 。 

检测 系统 性 能 强调 对 系统 当前 性 能 的 评估 ， 通 过 评估 ， 可 以 在 应 用 实际 部 署 之 前 ， 
预见 系统 负载 压力 承受 力 。 这 种 测试 的 意义 在 于 指导 系统 总 体 设计 ， 既 可 以 避免 浪费 不 
必要 的 人 力 、 物 力 和 财力 ， 叉 避免 硬件 和 软件 的 设计 不 匹配 ， 使 系统 具有 更 长 、 更 健壮 
的 生命 力 。 

如 何 确定 系统 的 “负载 压力 承受 力 ” 是 一 个 非常 复杂 且 关 键 的 问题 ， 我 们 会 在 “ 负 
载 压 力 测试 需求 分 析 ” 一 节 中 详细 论述 。 

对 于 系统 性 能 检测 ， 有 时 我 们 所 从 事 的 工作 仅仅 是 被 动 监控 一 些 性 能 指标 ， 而 预见 
系统 负载 压力 承受 力 ， 则 不 可 避免 地 会 借助 自动 化 的 负载 压力 测试 工具 。 

。 分析 系统 瓶颈 、 优 化 系统 。 

系统 性 能 检测 和 预见 为 分 析 系 统 瓶 颈 和 优化 提供 了 原始 数据 ， 打 好 了 基础 。 

瓶颈 这 个 术语 来 源 于 玻璃 抠 与 瓶 身 相 比 收缩 了 的 部 分 。 收 缩 的 瓶颈 将 引起 流明 的 下 
降 ， 从 而 限制 了 液体 流出 瓶 外 的 速度 。 类 似 的 ， 在 负载 压力 测试 中 ,“ 瓶 颈 ” 这 个 术语 用 
来 描述 那些 限制 系统 负载 压力 性 能 的 因素 。 我 们 给 系统 瓶颈 一 个 简单 定义 ， 即 应 用 系统 
中 导致 系统 性 能 大 幅 下 降 的 原因 。 瓶 颈 大 大 降低 了 系统 性 能 ， 测 试 工程 师 的 职责 之 一 ， 
就 是 降低 或 者 消除 系统 中 的 瓶颈 。 一 般 悄 况 下 , 发 现 瓶 颈 并 找 出 原因 并 不 是 件 容易 的 事 。 
很 多 时 候 ， 你 可 能 无 法 准确 定位 系统 瓶颈 之 所 在 。 瓶 颈 可 能 定位 在 硬件 中 ， 也 可 能 定位 
在 软件 中 。 对 软件 来 讲 ， 可 能 定位 在 开发 的 应 用 程序 中 ， 也 可 能 定位 在 操作 系统 或 者 数 
据 库 内 部 ， 对 于 后 者 ， 我 们 是 无 能 为 力 的 。 数 据 库 和 操作 系统 的 开发 者 们 都 一 直 在 测试 
其 产品 的 新 版 本 ， 以 期 能 尽 其 所 能 地 排除 产品 中 存在 的 所 有 瓶颈 。 硬 件 中 的 瓶颈 可 能 会 
非常 容易 排除 ， 一 般 来 讲 ， 解 决 硬件 瓶颈 的 方法 只 是 简单 地 向 系统 中 添加 CPU、 磁 盘 或 
者 内 存 等 ， 如 果 硬 件 瓶 颈 是 由 于 系统 缓冲 区 设计 或 内 存 总 线 造成 的 ， 那 么 通常 情况 下 我 
们 就 无 能 为 力 了 。 硬 件 瓶 颈 与 软件 瓶颈 相 比 ， 我 们 更 建议 先 解 决 软件 瓶颈 ， 尺 因 有 三 ， 
其 一 是 软件 瓶颈 往往 导致 系统 性 能 赣 减 更 快 ， 反 过 玉 讲 ， 消 除 软 件 瓶颈 ， 系 统 性 能 提升 
更 快 ， 其 二 是 人 为 因素 更 易 导 致 软件 瓶颈 ， 要 消除 软件 瓶颈 ， 开 发 人 员 会 更 主动 ， 并 且 
可 以 节省 资源 ， 其 三 ， 育 目 增加 硬件 则 无 形 中 增加 维护 费用 ， 将 来 ， 软 硬件 不 匹配 的 问 
题 终究 还 会 其 路 出 来 。 

优化 调整 系统 是 在 发 现 瓶 颈 ， 故 障 定 位 之 后 要 完成 的 事情 ， 实 现 优化 之 后 即 可 消除 
瓶颈 , 提高 性 能 。 我们 建议 将 负载 压力 性 能 问题 分 为 两 类 ; 一 类 是 需要 优化 的 性 能 问题 ， 
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这 类 问题 可 能 导致 系统 性 能 大 幅度 下 降 ， 或 者 给 系统 造成 破坏 ， 也 可 能 性 能 不 会 下 降 许 
多 ; 另 一 类 是 非 系统 优化 所 能 解决 的 性 能 问题 。 我 们 这 里 讨论 的 是 前 者 ， 导 致 系统 性 能 
下 降 的 因素 来 自 许 多 方面 ， 例 如 LO 过 载 、 内 存 不 足 、 数 据 库 资 源 殴 乏 、 网 络 速度 低 、 
硬件 资源 不 足 、 操 作 系统 资源 不 足 、 应 用 程序 架构 存在 缺陷 ， 软 硬件 配置 不 恰当 等 等 。 
优化 调整 即 是 对 症 下 药 ， 做 到 药 到 病 除 。 我 们 来 看 一 个 例子 ， 如 果 是 磁盘 IO 导致 了 系 
统 瓶 2 诺 ， 那 么 消除 它 的 方法 可 能 是 重新 设计 数据 库 或 者 提 高 系统 能 力 。 

在 系统 优化 调整 领域 , 有 许多 指导 性 文件 , 例如 IBM 针对 其 产品 DB2、WebSphere、 
CM、Portal 等 都 提供 了 专门 的 Tuning Guide， 并 且 配 合 以 培训 。 我 们 知道 ， 各 个 组 成 部 
分 的 最 优 并 不 代表 系统 性 能 可 以 达到 最 优 ， 每 个 组 成 单元 都 具备 一 些 调 优 指标 ， 每 个 指 
标的 调整 并 非 最 大 就 好 ， 或 者 最 小 就 好 ， 也 很 少 存 在 在 某 个 范围 就 最 好 这 种 情况 。 我 们 
给 测试 工程 师 的 建议 是 ， 调 优 的 最 终 目 的 是 各 个 指标 的 调整 取得 系统 的 平衡 点 ， 也 即 达 
到 了 系统 性 能 的 最 佳 点 。 讲 到 这 里 ， 我 们 会 想到 吴清源 大 师 的 “六 合 之 棋 ”， 他 曾经 提 
出 围棋 的 目标 不 是 局 限于 边 角 ， 而 是 应 该 很 好 地 保持 全 体 的 平衡 ， 站 在 一 个 很 高 的 角度 
去 看 待 。 

由 此 可 见 ， 负 载 压 力 测试 将 为 企业 项 目的 实施 提供 信心 ， 帮 助 用 户 正确 地 进行 容重 
规划 ， 实 现 软 硬 件 投资 合理 化 ， 最 终 交 付 商 质量 的 系统 ， 避 免 项 目 投产 失 败 ， 保 证 用 户 
的 投资 得 到 相应 的 回报 。 


8.1.4 ”负载 压力 测试 策略 


负载 压力 测试 可 以 采取 利用 手工 进行 测试 和 利用 自动 化 负载 压力 测试 工具 进行 测 
试 两 种 测试 策略 。 | 

大 多 数 工程 师 掌 握手 工 测试 技巧 ， 比 如 ， 可 以 手工 模拟 负载 压力 ， 方 法 是 找 若 干 
台电 脑 和 同样 数目 的 操作 人 员 ， 在 同一 时 刻 进行 操作 ， 然 后 用 秒表 记录 下 啊 应 时 间 ， 
这 样 的 手工 测试 方法 可 以 大 致 反映 系统 所 能 承受 的 负载 压力 情况 。 但 是 ， 这 种 方法 需 
要 大 量 的 人 员 和 机 器 设备 ， 而 且 测 试 人 员 的 同步 问题 无 法 解决 ， 更 无 法 捕捉 程序 内 部 
的 变化 悄 况 。 利 用 自动 化 负载 压力 测试 工具 进行 测试 可 以 很 好 地 解决 这 些 问题 。 利 用 
自动 化 负载 压力 测试 工具 可 以 在 一 台 或 几 台 PC 机 上 ， 模 拟 成 百 或 上 千 的 虚拟 用 户 同 
时 执行 业务 的 情景 ， 通 过 可 重复 的 、 真 实 的 测试 能 够 彻底 地 度 生 应 用 的 性 能 ， 确 定 问题 
所 在 。 

可 见 ， 负 载 压力 测试 的 发 展 趋势 是 ， 利 用 自动化 的 测试 工具 进行 测试 ， 当 然 在 没有 
工具 的 情况 下 ， 我 们 也 可 以 通过 手工 测试 对 系统 承受 负载 压力 情况 做 一 个 近似 的 评估 。 
下 面 重点 介绍 一 下 利用 自动 化 测试 工具 进行 负载 压力 测试 的 策略 ， 分 别 是 利用 商业 化 测 
试 工具 进行 测试 、 利 用 开放 资源 测试 工具 进行 测试 和 自主 开发 工具 进行 测试 。 
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e 利用 商业 化 测试 工具 进行 测试 。 

利用 商业 化 的 自动 化 测试 工具 是 进行 负载 压力 测试 的 主要 手段 ， 知 名 的 商业 化 的 测 
试 工具 ， 比 如 LoadRunner、QALoad 等 ， 适 用 范围 非常 广 ， 一 般 都 经 过 了 长 时 间 的 市 
场 检 验 ， 测 试 效 果 得 到 业界 的 普 过 认可 ， 测 试 结 果 具 有 一 定 的 可 比 性 ， 并 且 厂 商 一 般 
都 能 提供 很 好 的 技术 支持 ， 其 版 本 的 升级 也 会 得 到 保证 。 但 是 商业 化 的 自动 化 测试 工 
具 一 般 价 格 较 商 ， 如 果 考 虑 价格 因素 ， 那 么 利用 开放 资源 工具 进行 测试 也 是 一 个 不 错 
的 策略 。 

e。 开放 资源 测试 工具 进行 测试 。 

开放 资源 被 定义 为 用 户 不 侵犯 任何 专利 权 和 闭 作 权 ， 以 及 无 需 通 过 专利 使 用 权 转 
让 ， 就 可 以 获取 、 检 测 、 更 改 的 软件 源 代码 ， 这 意味 着 任何 人 都 有 权 访 问 、 修 改 、 改 进 
或 壬 新 分 配 源 代码 。 开 放 资 源 的 理念 是 ， 当 人 们 在 已 存在 的 工具 上 共同 开发 时 ， 最 终 产 
品 会 更 加 先进 。 简 而 言 之 ， 很 多 企业 和 个 体 都 会 从 中 获 益 。 开 放 资 源 的 最 大 优点 是 测试 
工具 是 免费 的 。 

现在 我 们 来 看 看 开放 资源 性 能 测试 工具 。 

最 流行 的 几 个 开放 资源 性 能 测试 工具 是 :开放 系统 测试 体系 OpenSTA、TestMaker 
和 JMeter。 这 些 工具 中 的 每 一 个 都 能 提供 完成 负载 压力 测试 所 需 的 功能 ， 现 存 的 多 种 开 
放 资 源 测 试 工具 都 是 可 获得 的 。 下 面 列举 几 个 例子 。 

Q 开放 系统 测试 体系 一 一 OpenSTA (http://portal.opensta.org/)。 

OpenSTA 是 Windows 平台 、 分 布 式 的 软件 测试 体系 , 基于 CORBA (Common Object 
Request Broker Architecture )。OpenSTA 能 产生 数 百 或 数 千 个 虚拟 用 己 ， 坂 切 用 于 测试 基 
于 Web 的 应 用 软件 。 此 工具 还 为 用 尸 岗 应 时 间 和 平台 应 用 软件 (包括 应 用 服务 器 、 数 据 
库 服 务 器 、Web 服务 器 ) 的 资源 占用 信息 监控 提供 了 图 形 化 标准 。 

OpenSTA 具有 一 种 简单 的 脚本 语言 ， 即 脚本 控制 语言 《SCL)。SCL 与 商业 性 能 测 
试 工具 一 样 ， 使 用 户 能 够 创建 测试 脚本 。 它 能 将 输入 数据 参数 化 ， 从 外 部 文件 读 入 参数 
数据 。 如 图 8-1 所 示 是 OpenSTA 的 脚本 模型 界面 。 

人 TestMaker (http:/www.pushtotest.com/)。 

它 是 一 种 基于 Java 的 染 构 ， 能 够 创建 测试 代理 ， 以 用 于 衡 便 应 用 软件 和 Web 服务 
器 的 性 能 。TestMaker 可 以 在 Windows、Linux 和 UNIX 平台 上 运行 ， 可 以 用 它 创建 针对 
Web 应 用 的 测试 案例 ， 而 不 管 这 些 应 用 是 基于 J2EE 平台 还 是 .NET 平台 。TestMaker 支 
持 各 种 不 同 的 协议 , 例如 HTTP/HTTPS、TCP/I1P、SOAP 以 及 XML。TestMaker 的 脚本 语 
言 是 一 种 开放 资源 语言 ， 叫 做 Jython。jJython 其 实 是 Python 语言 的 Java 实现 形式 。 
Jython 除了 给 开发 者 提供 所 有 的 Java 对 象 外 ， 还 提供 Python 的 面 回 对 象 的 环境 。 
TestMaker 包含 一 个 代理 日 志 ， 同 商品 化 测试 工具 所 提供 的 功能 类 似 。 
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图 8-1 OpenSTA 脚本 模型 界面 


@) Apache JMeter (http:/jakarta.apache.org/jmeter)。 

Apache JMeter 是 一 种 纯粹 的 Java 应 用 软件 ， 用 于 测试 功能 和 衡量 性 能 。JMeter 报 
初 是 基于 Apache Tomcat 设计 的 ， 用 于 测试 Web 应 用 软件 的 性 能 ， 但 是 目前 ， 开 放 资 源 
发 展 联 盟 将 此 产品 的 应 用 扩展 得 更 广泛 了 , Apache JMeter 同时 用 于 功能 测试 和 负载 压力 
测试 。 应 用 这 一 软件 可 以 测试 Java 对 象 、JDBC、 数 据 库 、Perl 脚本 、Web 服务 器 和 应 
用 服务 器 等 。 

和 商品 化 测试 工具 一 样 ，Apache JMeter 的 代理 记录 可 以 记录 浏览 器 和 Web 服务 器 
之 间 的 通信 。 并 且 ， 由 于 JMeter 是 100%Java 的 ， 所 以 它 不 受 平台 约束 。 

人 自主 开发 工具 测试 。 

目 主 开发 测试 即 开发 自己 的 负载 压力 测试 程序 或 者 工具 。 

例如 , 一 个 简单 的 Web 应 用 测试 工具 可 以 这 样 构建 。 首 先 编写 一 个 对 每 一 个 模拟 客 
户 机 运行 一 个 线程 的 程序 。 每 一 个 线程 需要 与 服务 器 通信 ， 可 能 使 用 Java、Net、URL 
类 。 这 种 方法 能 够 达到 基本 的 HTTP 客户 机 模拟 ， 它 可 以 执行 GET 和 PUT。 每 个 线程 
需要 做 的 就 是 发 送 HTTP 请 求 ， 收 集 回 复 。 这 一 组 行动 可 以 相当 容易 地 抽象 到 一 个 单独 
的 配置 文件 中 。 很 快 地 ， 就 得 到 一 个 基本 的 负载 测试 工具 。 同 时 可 能 需要 增加 一 些 配 置 
选项 以 确定 运行 多 少 个 线程 〈 模 拟 的 客户 机 ) ， 以 及 它们 是 同时 开始 ， 还 是 慢 慢 增加 负 
载 。 当 然 ， 和 需要 对 与 服务 器 的 交互 计时 ， 因 为 这 是 要 测试 的 核心 内 容 ， 响 应 时 间 。 
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后 面 章节 中 ， 我 们 会 详细 论述 开发 负载 压力 测试 程序 或 者 工具 的 一 些 思 路 。 
8.1.5 ”产品 生命 周期 中 负载 压力 测试 计划 


我 们 知道 ， 在 项 目的 不 同 阶段 都 需要 进行 负载 压力 性 能 测试 ， 而 测试 是 需要 必要 的 
资源 的 ， 所 以 应 该 为 此 制定 相应 的 计划 。 这 里 提供 了 5 点 计划 安排 ， 它 们 能 确保 系统 负 
载 压力 性 能 满足 需求 。 

(1) 在 需求 分 析 中 充分 关注 负载 压力 性 能 

在 需求 分 析 阶 段 , 主要 的 焦点 是 为 系统 中 共享 的 和 有 限 的 资源 进行 需求 分 析 。 例如 ， 
一 个 网 络 联接 既是 共享 的 又 是 有 限 的 资源 ， 一 个 数据 库 表 是 一 个 共享 的 资源 ， 线 程 是 一 
个 有 限 的 资源 。 如 果 没 有 正确 的 设计 ， 这 些 在 以 后 的 各 阶段 将 引发 严重 问题 。 

为 了 突出 负载 压力 性 能 需求 分 析 ， 有 时 需要 为 负载 压力 性 能 分 析 分 配 大 约 10% 的 时 
间 ， 不 同 的 设计 选择 对 于 负载 压力 性 能 的 影响 是 不 同 的 。 测 试 工程 师 需 要 掌握 负载 压力 
性 能 目标 设计 方法 ， 同 时 应 该 具备 与 确定 负载 压力 性 能 需求 相关 的 体系 结构 资料 ， 和 需求 
分 析 应 该 与 体系 结构 分 析 结 合 进行 。 

(2) 从 设计 中 得 到 负载 压力 性 能 指标 

设计 者 应 当 清 楚 地 了 解 不 同 设 计 对 负载 压力 性 能 的 影响 ， 在 设计 的 各 个 方面 应 该 充 
分 考虑 负载 压力 性 能 设计 各 方 的 意见 ， 给 出 负载 压力 性 能 的 预期 指标 。 

如 果 设 计 中 系统 应 用 了 第 三 方 产品 ， 例 如 ， 中 间 件 或 者 数据 库 产 品 ， 则 应 要 求 第 三 
方 产品 提供 商 能 够 对 其 产品 进行 性 能 验证 和 设计 ， 识 别 与 其 产品 有 关 的 负载 压力 性 能 问题 。 

为 了 突出 负载 压力 性 能 的 重要 性 ， 在 预算 方面 也 应 当 留 出 专门 的 资金 ， 如 为 负载 压 

力 性 能 方面 分 配 10% 的 资金 预算 是 一 个 安全 的 选择 。 
| 设计 中 还 应 该 考虑 应 用 规模 和 数据 量 的 可 升级 性 。 应 用 分 布 的 规模 可 能 依赖 于 分 布 
组 件 的 需求 级 别 、 事 务 处 理 机 制 和 模式 等 ， 数 据 量 的 升级 将 要 求 设 计 中 包含 专门 处 理 大 
数据 集 处 理 的 内 容 。 

(3) 开发 阶段 创建 一 个 负载 压力 性 能 测试 环境 , 

开发 阶段 开始 时 的 负载 压力 性 能 任务 是 建立 负载 压力 性 能 测试 环境 。 稀 要 进行 以 下 
工作 : 

。 ”确保 合理 精确 的 测试 环境 ， 并 且 此 环境 可 重用 ; 

 。 为 测试 环境 制定 规则 的 负载 压力 性 能 测试 时 间 表 ， 如 果 测 试 环境 是 共享 的 ， 负 
载 压力 性 能 测试 不 能 与 其 他 活动 同时 发 生 ; 

。 选择 一 个 负载 压力 性 能 测试 工具 。 

(4) 验收 阶段 在 多 等 级 范围 内 测试 并 调 优 

测试 要 如 实 表现 系统 的 主要 应 用 ， 测 试 系统 的 可 升级 性 ， 例 如 ， 可 确定 共享 资源 如 
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何 响应 增长 的 负载 ， 也 可 确定 受 限 资源 在 哪个 阶段 开始 用 尽 或 者 成 为 瓶颈。 

验收 测试 结果 可 以 统计 负载 压力 性 能 、 比 较 负 载 压 力 性 能 ， 以 及 报告 异常 ， 提 供 分 
析 依 据 。 

(5) 运行 阶段 持续 监控 系统 负载 压力 性 能 

监控 系统 在 正常 运行 状态 下 的 负载 压力 性 能 ， 识 别 系统 性 能 的 倾向 ， 确 定 何 种 条 件 
下 负载 压力 性 能 超过 可 接受 范围 等 。 


8.1.6 ”负载 压力 测试 中 的 盲点 


就 像 汽 车 的 观 后 镜 存在 “盲点 ”一 样 ， 许 多 负载 压力 测试 工具 也 人 存在“ 盲点” 会 
给 使 用 工具 的 测试 工程 师 一 种 盲目 的 安全 感 。 这 个 盲点 是 什么 呢 ? 就 是 在 负载 压力 测试 
中 ， 不 进行 功能 校 验 ， 当 功能 错误 发 生 时 ， 测 试 工具 不 能 够 记录 产生 的 错误 ， 这 就 忽略 
了 负载 压力 情况 下 的 功能 不 稳定 问题 。 目 前 分 布 式 应 用 部 因 结 构 、Web 技术 的 发 展 等 极 
大 地 扩大 了 这 些 “ 育 点 ”发 生 的 可 能 ， 忽 视 这 些 “ 育 点 ”， 必 然 会 导致 结果 的 不 可 人 和信， 其 
至 导致 结果 有 害 。 z 

所 以 负载 压力 测试 期 间 必须 要 进行 必要 的 功能 内 容 校 验 ， 换 句 话 讲 ， 没 有 正确 的 功 
能 保证 ， 负 载 压 力 性 能 测试 就 失去 了 意义 。 那 么 ， 如 何 做 功能 内 容 校 验 呢 ? 我 们 认为 只 
有 在 负载 压力 测试 过 程 中 记录 所 有 虚拟 用 户 的 操作 ， 及 服务 器 的 响应 ， 才 有 助 于 判断 功 
能 错误 ， 这 就 是 当前 负载 压力 测试 技术 发 展 的 最 大 挑战 。 测 试 过 程 中 的 附加 记录 会 导致 
资源 消耗 、 操 作 行 为 增加 以 及 产生 大 量 日 志 等 问题 。 

目前 有 些 负载 压力 测试 工具 能 够 将 负载 压力 测试 与 功能 校 验 融 为 一 体 ， 尽 量 减少 此 
“盲点 ” 如果 使 用 的 工具 不 具备 此 功能 , 那么 就 必须 借助 于 一 些 辅 助手 段 来 克服 “盲点 ”， 
视而不见 肯定 不 是 一 个 明 管 的 选择 。 . 


8.2 ”负载 压力 测试 解决 方案 

系统 的 负载 压力 主要 包括 并 发 负载 、 疲 劳 强度 以 及 大 数据 量 等 ， 前 面 我 们 已 经 讨论 
过 这 些 负载 压力 测试 的 概念 ， 这 里 我 们 讨论 具体 测试 项 的 解决 方案 。 
8.2.1 ”并 发 性 能 测试 


系统 的 并 发 性 能 是 负载 压力 性 能 的 最 主要 的 组 成 部 分 ， 首 先 我 们 来 讨论 什么 是 “并 
发 "对 一 个 系统 来 讲 ， 某 些 业 务 操作 对 特定 角色 用 户 来 讲 存在 很 大 的 同时 操作 的 可 能 
性 。 例 如 ， 网 上 购物 系统 的 订单 提交 、 订 标 系 统 的 票 源 查 询 、 人 力 资源 系统 月 末 及 年 末 
报表 上 传 等 ， 客 户 端 大 二 的 并 发 操作 提 商 了 网 络 的 吞吐 节 ， 加 剧 了 服务 器 资源 互 斥 访问 
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冲突 ， 加 大 了 数据 库 死 锁 的 可 能 。 这 样 的 负载 压力 轻 则 会 导致 系统 性 能 低下 ， 重 则 会 对 
系统 造成 破坏 ， 给 用 户 带 来 经 济 损失 。 因 此 并 发 性 能 的 测试 对 于 保证 系统 的 性 能 是 非 浓 
关键 的 。 

那么 ， 在 实际 操作 中 ， 我 们 采取 什么 样 的 方案 来 实施 这 一 类 操作 呢 ? 首先 并 发 负载 
压力 的 实施 是 在 客户 端 , 负载 压力 的 传输 介质 是 网 络 , 最终 压力 会 到 达 后 台 各 类 服务 器 ， 
包括 Web 服务 器 、 应 用 服务 器 、 数据 库 服务 器 以 及 系统 必须 的 服务 器 , 例如 认证 服务 器 、 
检索 服务 器 等 。 所 以 ， 在 并 发 性 能 测试 过 程 中 ， 关 注 点 包括 客户 端的 性 能 、 应 用 在 网 络 
上 的 性 能 以 及 应 用 在 服务 器 上 的 性 能 。 为 什么 这 些 内 容 都 是 必须 的 呢 ? 大 家 知道 ， 测 试 
是 要 定位 问题 ， 目 的 是 为 了 解决 问题 ， 这 些 关 注 点 正 是 定位 问题 的 必要 条 件 。 下 面 将 详 
细 论 述 这 些 重点 内 容 。 

1. 应 用 在 客户 端 性 能 的 测试 

在 客户 端 模拟 大 重 并 发 用 户 执 行 不 同业 务 操作 ;达到 实施 负载 压力 的 目的 。 

采用 负载 压力 测试 工具 来 模拟 大 重 并 发 用 户 ， 模 拟 机 制 如 图 8-2 所 示 ， 主 要 组 成 部 
分 包 插 主 控 台 、 代 理 机 以 及 被 测 服务 器 ， 各 部 分 采用 网 络 连 接 。 主 控 台 负责 管理 各 个 代 
理 以 及 收集 各 代理 测试 数据 ， 代 理 负责 模拟 虚拟 用 户 加 压 。 在 每 次 并 发 性 能 测试 中 ， 只 
有 一 台 主 控 台 ， 但 可 以 有 多 个 代理 。 


负 示 生成 器 2 


§ 


负载 生 成 器 3 


” ”测试 工具 主 控 台 


图 8-2 模拟 机 制 


如 何 模拟 负载 压力 呢 ? 总 的 原则 是 最 大 限度 地 模拟 真实 负载 压力 。 要 做 到 这 一 点 ， 
既是 对 测试 工具 的 考验 ， 又 是 对 测试 工程 师 经 验 与 智 辟 的 考验 。 

测试 工具 怎样 模拟 真实 的 负载 压力 呢 ? 以 LoadRunner 负载 压力 测试 工具 为 例 ， 看 
看 工具 是 如 何 实现 的 。 
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要 模拟 真实 的 负载 压力 做 测试 ， 必 须 创 建 方案 ， 方 案 是 用 以 模拟 现实 生活 中 用 户 的 
方式 。 方 案 包 含有 关 如 何 模拟 实际 用 户 的 信息 : 虚拟 用 户 〈Vuser) 组 、Vuser 将 运行 的 
测试 脚本 ， 以 及 用 于 运行 脚本 的 负载 生成 器 计算 机 。 

如 果 选 择 创 建 常 规 手 动 方案 ， 则 会 将 选择 的 每 个 脚本 分 配给 Vuser 组 。 然 后 ， 可 以 
为 每 个 Vuser 组 分 配 多 个 Vuser。 可 以 指示 某 个 组 中 的 所 有 Vuser 在 同一 台 负 载 生 成 器 计 
算 机 上 运行 相同 的 脚本 ， 也 可 以 为 组 中 的 各 个 Vuser 分 配 不 同 的 脚本 和 负载 生成 器 。 使 
用 百分比 模式 创建 手动 方案 ， 可 以 定义 方案 中 要 使 用 的 Vuser 总 数 ， 并 为 每 个 脚本 分 配 
负载 生成 器 和 占 总 数 一 定 百分比 的 Vuser。 

可 以 设计 面向 目标 的 方案 , 在 面向 目标 的 方案 中 , 可 以 定义 所 希望 实现 的 测试 目标 ， 
LoadRunner 将 根据 定义 的 目标 自动 创建 一 个 方案 。 在 一 个 面向 目标 的 方案 中 ， 可 以 定义 
五 种 类 型 的 目标 : 虚拟 用 户 数 、 每 秒 点 击 次 数 〈 仅 Web Vuser)、 每 秒 事务 数 、 每 分 钟 页 
面 数 〈 仅 Web Vuser) 或 事务 啊 应 时 间 。 要 定义 每 秒 事 务 数 或 事务 啊 应 时 间 目 标 类 型 ， 
脚本 中 必须 包含 事务 。 对 于 每 种 目标 类 型 ， 可 以 定义 脚本 中 希望 测试 的 事务 。 下 面 分 别 
来 分 析 五 种 类 型 的 目标 。 

。 虚拟 用 户 目标 类 型 ， 测 试 应 用 程序 可 以 同时 运行 多 少 个 Vuser。 

。 每 秒 点 击 次 数 、 每 分 钟 页 面 数 或 每 秒 事务 数 ， 测 试 服务 器 的 稳定 性 。 需 要 指定 
LoadRunner 运行 的 Vuser 范围 〈 最 大 值 、 报 小 值 )， 以 及 每 秒 事务 数目 标 类 型 的 
“事务 名 称 ”。Controller (测试 工具 的 主 控 台 ) 将 尽量 使 用 最 少数 量 的 Vuser 来 
达到 定义 的 目标 。 如 果 使 用 最 小 Vuser 数 不 能 达到 该 目标 ， 则 Controller 将 逐渐 
增加 Vuser 数 ， 直 到 达到 所 定义 的 最 大 数 。 如 果 使 用 指定 的 最 大 Vuser 数 仍 不 能 
达到 指定 的 目标 ，Controller 将 增加 Vuser 数 ， 并 再 次 执行 方案 。 

。 事务 响应 时 间 目 标 类 型 : 测试 在 期 望 的 事务 响应 时 间 内 可 以 同时 运行 多 少 个 
Vuser， 在 脚本 中 指定 想 要 测试 的 事务 的 名 称 以 及 LoadRunner 要 运行 的 Vuser 
数量 范围 《最 大 值 、 最 小 值 )。 指 定 的 “事务 响应 时 间 ” 应 该 是 一 个 预定 义 的 阅 
值 。 例 如 ， 如 果 和 希望 用 户 在 $ 秒 钟 之 内 登录 到 某 个 电子 商务 站 点 ， 请 将 可 接受 
的 最 长 事务 响应 时 间 指 定 为 5 秒 。 将 最 大 和 最 小 Vuser 数 设置 为 希望 能 够 同时 
提供 服务 的 最 大 和 最 小 用 户 数 。 如 果 方 案 没 有 达到 定义 的 最 大 事务 响应 时 间 ， 
则 服务 器 能 够 在 合理 的 时 间 间 隔 内 ， 对 想 要 同时 提供 服务 的 指定 数量 的 用 户 作 
出 响应 。 如 果 在 仅 执 行 部 分 Vuser 后 就 达到 定义 的 响应 时 间 ， 或 如 果 接 收 到 消 
息 ， 提 示 如 果 Controller 使 用 定义 的 最 大 Vuser 数 ， 网 应 时 间 将 超出 指定 值 ， 那 
么 ， 应 该 考虑 修补 应 用 程序 和 /或 升级 服务 器 的 软 硬 件 。 

下 面 来 谈 谈 方案 计划 。 方 案 的 主要 内 容 是 确定 如 何 开 展 测试 ， 以 准确 描绘 用 户 行为 

(操作 类 型 和 这 些 操作 的 计时 等 ， 由 Vuser 脚本 表示 )。 可 以 在 一 段 延迟 之 后 开始 执行 方 
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案 。 可 以 指定 LoadRunner 目 发 出 Run 命令 以 来 等 符 的 分 钟 数 ， 也 可 以 指定 让 方案 开始 
的 特定 时 间 。 使 用 计划 生成 器 ， 可 以 对 手动 方案 进行 计时 设置 ， 从 而 限制 方案 的 执行 持 
续 时 间 ， 或 Vuser 组 在 方案 中 的 持续 时 间 。 通 过 指定 方案 或 Vuser 组 应 处 于 “正在 运行 ” 
状态 的 分 钟 数 ， 可 以 限制 执行 持续 时 间 。 方 案 或 组 到 达 其 时 间 限 制 时 就 结束 。 对 于 手动 
方案 ， 还 可 以 规定 在 某 一 时 间 段 内 LoadRunner 启动 和 停止 的 Vuser 的 数量 。 在 指定 的 时 
间 重 内 ， 可 以 指定 LoadRunner 应 同时 启动 /停止 ，Vuser 组 中 所 有 的 Vuser， 还 是 仅 启 动 / 
停止 一 定数 量 的 Vuser。 和 需要 注意 的 是 ，Vuser 脚本 中 的 集合 点 将 干扰 已 计划 好 的 方案 。 
如 果 脚 本 包含 集合 点 ， 则 方案 将 不 会 技 计 划 运 行 。 

在 方案 运行 期 间 ， 可 以 通过 使 用 集合 点 指示 多 个 Vuser 同时 执行 任务 。 集 合 点 可 以 

在 服务 器 上 创建 密集 的 用 户 负 载 ， 并 使 LoadRunner 能 够 测量 服务 器 在 负载 状态 下 的 性 
能 。 假 设 有 10 个 Vuser 同时 检查 账户 信息 时 ， 需 要 估量 某 个 基于 Web 的 银行 系统 如 何 
执行 操作 。 为 了 模拟 服务 器 上 要 求 的 用 户 负载 ， 可 以 指示 所 有 的 Vuser 完全 在 同一 时 刻 
检查 账户 信息 。 通 过 创建 集合 点 ， 可 以 确保 多 个 Vuser 同步 操作 。 当 Vuser 到 达 某 个 集 
合 点 时 , 它 就 会 被 Controller 滞留 在 该 处 。 当 达到 要 求 的 Vuser 数 或 者 经 过 一 段 指定 的 时 
间 后 ，Controller 就 会 从 集合 中 释放 Vuser。 

通过 使 用 Controller， 可 以 根据 如 下 选择 来 影响 服务 器 的 负载 级 别 : 

e 选择 在 方案 运行 过 程 中 活动 的 集合 点 ; 

es 选择 加 入 每 个 集合 的 Vuser 数 。 

例如 ， 要 测试 银行 服务 器 ， 可 以 创建 一 个 包含 两 个 集合 点 的 方案 。 第 一 个 集合 可 以 

确保 -1000 个 Vuser 能 同时 存 入 现金 。 第 二 个 集合 可 以 确保 另外 1000 个 Vuser 能 同时 提 
取现 金 。 如 果 需 要 在 只 有 500 个 Vuser 存 入 现金 的 情况 下 度量 服务 器 的 性 能 ， 可 以 停 用 
(禁用 )“ 提 取 ” 和 集合 ， 并 指示 仅 让 500 个 Vuser 参加 “ 存 入 ”集合 。 下 面 的 过 程 概 述 了 
如 何 控制 服务 器 上 的 负载 峰值 。 

e 创建 Vuser 脚本 ， 插 入 必 第 的 集合 扩 。 

e 创建 方案 。 

@ 向 方案 中 添加 Vuser 组 时 ，LoadRunner 扫描 与 该 组 相关 的 脚本 ， 在 其 中 搜索 集 
合 点 的 名 称 ， 并 将 这 些 名 称 添 加 到 “集合 信息 ”对 话 框 中 的 列表 里 。 如 果 创 建 
另外 一 个 运行 相同 脚本 的 Vuser 组 ，Controller 会 将 该 新 的 Vuser 添加 到 集合 中 ， 

” ”并 更 新 列表 。 

e。 设置 模拟 用 户 负载 的 级 别 。 

e。 通过 选择 将 加 入 到 方案 中 的 集合 点 ， 以 及 加 入 每 个 集合 的 Vuser 数 ， 可 以 确定 
负载 的 精确 级 别 。 

。 设置 集合 的 属性 。 
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。 对 于 每 一 个 集合 ， 都 可 以 设置 集合 策略 。 

。， 运 行 方案 。 

在 运行 方案 之 前 ， 可 以 同时 配置 方案 的 负载 生成 器 和 Vuser 行为 。 昌 然 默认 设置 与 
大 多 数 环境 对 应 ， 但 是 LoadRunner 允许 修改 这 些 设 置 ， 以 便 自 定义 方案 行为 。 这 些 设 置 
适用 于 所 有 未 来 的 方案 运行 ， 并 且 通 常 只 需 设置 一 次 。 如 果 全 局 方案 设置 与 单个 负载 生 
成 器 的 设置 不 同 ， 则 负载 生成 器 设置 将 替代 全 局 方案 。 

这 里 讨论 的 设置 与 Vuser 运行 时 的 设置 无 关 。 这 些 适 用 于 单个 Vuser 或 脚本 的 设置 ， 
包含 有 关上 日 志 记 录 、 思 考 时 间 、 网 络 、 迭 代数 和 浏览 器 的 信息 。LoadRunner 导出 模式 允 
许配 置 LoadRunner 代理 程序 和 其 他 LoadRunner 组 件 的 其 他 设置 ， 称 为 “专家 模式 ” 

我 们 使 用 大 量 的 篇 幅 论 述 了 测试 工具 ， 其 实在 测试 过 程 中 ， 占 主导 地 位 的 仍然 是 测 
试 工程 师 ， 测 试 工程 师 对 测试 工具 掌握 的 熟练 程度 ， 负 和 载 压 力 测试 积累 的 经 验 ， 对 新 技 
术 的 敏感 程度 ， 和 开发 人 员 及 用 户 的 充分 交流 ， 学 无 止境 的 工作 态度 都 是 非常 重要 的 。 

测试 工程 师 只 有 程序 设计 和 开发 工具 的 知识 是 不 够 的 ， 必 须要 司 得 系统 运转 的 机 
理 。 要 具备 应 用 平台 、 软 件 架 构 、 数 据 库 系统 以 及 网 络 环境 等 方面 的 知识 ， 这 样 才能 做 
到 尽量 分 析 错 误 和 定位 错误 。 

例如 ， 当 对 关键 功能 点 录制 脚本 时 ， 不 但 要 掌握 功能 点 完成 的 任务 ， 还 要 熟悉 功能 
的 业务 运行 模式 ， 这 就 需要 测试 工程 师 有 业务 操作 背景 。 

客户 端 并 发 性 能 测试 要 得 到 哪些 指标 的 值 呢 ， 以 及 怎样 分 析 结 果 值 ， 我 们 在 后 面 章 
节 会 有 详细 举例 论述 。 

2. 应 用 在 网 络 上 性 能 的 测试 

这 部 分 主要 包括 两 部 分 内 容 ， 一 是 应 用 网 络 故障 分 析 ; 二 是 网 络 应 用 性 能 监控 。 

应 用 网 络 故障 分 析 的 测试 目标 是 显示 网 络 带宽 、 延 迟 、 负 载 和 TCP 端口 的 变化 是 如 
何 影响 用 户 的 响应 时 间 的 。 通 过 测试 ， 我 们 可 以 做 到 下 面 几 点 。 

QD 优化 性 能 ; 

@ 预测 系统 网 应 时 间 ; 

@ 确定 网 络 带 宽 需 求 ; 

由 定位 应 用 程序 和 网 络 故障 。 

借助 于 网 络 故障 分 析 工 具 ， 可 以 解决 下 列 问题 。 

QD 使 应 用 跨越 多 个 网 段 的 活动 过 程 变 得 清晰 ; 

@ 提供 有 关 应 用 效率 的 统计 数据 ; 

@ 模拟 最 终 用 户 在 不 同 网 络 配置 环境 下 的 响应 时 间 ， 决 定 应 用 投产 的 网 络 环境 。 

网 络 故 障 分 析 工 具 的 工作 机 理 ， 可 以 总 结 为 “多 个 捕捉 点， 一 个 分 析 ”。 捕 捉 点 即 
“Agent”， 利 用 主 控 台 “Agent Manager” 进 行 分 析 ，Agent 被 动 监 听 数 据 包 来 实现 实时 数 


www.TopSage.com 


236 软件 评测 师 教程 


据 采 集 , Agent Manager 完成 对 所 跟踪 到 的 数据 的 分 析 , 可 以 自由 地 将 捕捉 代理 放 在 不 同 
的 平台 ， 例 如 ，Windows 或 UNIX。 如 图 8-3 所 示 的 主 控 台 为 Management Console， 捕 
提 点 为 代理 探 针 Probe。 


1) Interactive Viewer 
es 2) Probe Manager 
唱 三 | 一， 3) Time Server 
Management Console 


I0/100Base FDDI Switches Leased Line 
Token Ring Gigabit Frame Relay 


图 8-3 网 络 故障 分 析 工 具 工作 机 理 


如 图 8-4 所 示 是 一 个 典型 的 Web 染 构 应 用 部 普 图 , 我们 可 以 在 应 用 风 答 路 征 上 进行 多 
点 数据 采集 , 并 且 在 任何 两 个 节点 间 进 行 数据 整合 , 测量 分 段 的 啊 应 时 间 , 分 析 应 用 故障 。 


Internet 


图 8-4 ”Web 架构 应 用 部 大 图 


有 哪些 信息 可 以 辅助 我 们 做 网 络 故障 分 析 呢 ? 
。 监控 不 同 探 针 之 问 的 连接 状态 ， 传 输 的 字 节 数 以 及 通信 往返 行程 次 数 ， 如 图 8-5 
所 示 ，206.40.55.195 为 浏览 器 ，www.optinal.com 为 Web 服 务 器 ， 其 上 各 有 一 个 
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探 针 ， 将 网 络 分 为 两 段 ， 分 别 是 Primary 和 Secondary。 
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图 8-5 探 针 之 间 的 连接 


会 话 性 能 概要 ， 监 控 哪 段 网 络 延 迟 大 ， 带 宽 对 网 络 双向 性 能 的 影响 ， 节 点 用 
处 理 和 用 于 传输 的 时 间 等 ， 如 图 8-6 所 示 。 
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图 8-6 ”会话 性 能 概要 
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e。 服务 器 与 客户 端 之 问 帧 传输 情况 统计 ， 可 以 监控 到 与 应 用 相关 的 帧 的 分 布 ， 对 
每 一 个 帧 可 以 与 相关 的 数据 包 关 联 ， 并 且 可 以 对 帧 解码 ， 如 图 8-7 所 示 。 
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图 8-7 服务 器 与 客户 站 之 间 师 传输 情况 统计 


e。 服务 器 与 客户 端 之 间 传 送 包 信息 统计 ， 监 控 包 的 详细 信息 ， 并 且 可 以 将 包 与 由 
及 线程 相关 联 ， 如 图 8-8 所 示 。 
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图 8-8 服务 器 与 客户 普 之 但 传送 包 信息 统计 
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e 线程 信息 统计 ， 监 控 线程 的 内 容 和 生存 周期 ， 以 及 线程 与 数据 包 的 关系 ， 如 
图 8-9 所 示 。 
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图 8-9 线程 信息 统计 


。 负载 的 高 峰 时 刻 ， 监 控 到 负载 的 平均 值 以 及 识 蜂 值 ， 并 且 高 峰 时 刻 可 以 与 相关 
的 线程 、 数 据 包 、 帧 相关 联 ， 如 图 8-10 所 示 。 
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图 8&-10 负载 的 闻 峰 时 刻 
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e 故障 错误 总 结 。 

@ 应 用 级 错误 : HTTP, FTP, DNS, FTP, No response seen, repeated DNS request, .. 

@ TCP 错误 ;retransmissions, missing data, frame out of sequence, connection errors, 
resets, ... 

@ IP 错误 : missing fragment missing fragment data, ... 

其 他 错误 : ICMP, Improper frame, ..… 

网 络 应 用 性 能 监控 的 测试 目标 ， 是 在 系统 试 运行 之 后 ， 我 们 需要 及 时 准确 地 了 解 网 
络 上 正在 发 生 什 么 事情 ; 什么 应 用 在 运行 ， 如 何 运行 ， 多 少 PC 正在 访问 LAN 或 WAN; 
哪些 应 用 程序 导致 系统 瓶颈 或 资源 竞争 。 

利用 工具 进行 网 络 应 用 性 能 监控 ， 监 控 探 针 可 以 部 署 在 整个 应 用 范围 内 ， 如 图 8-11 
所 示 。 监 控 工 具 主要 包括 以 下 部 分 ， 

GD 探 针 。 采 集 与 存储 数据 ， 并 根据 应 用 对 数据 进行 分 类 。 设 置 的 原则 是 根据 网 络 
组 成 和 监控 要 求 。 

人 @) 探 针 管理 器 。 管 理 配置 探 针 ， 设 定数 据 采 集 与 上 传 时 间 ， 合 并 收集 的 数据 。 

@ 时 间 服 务 器 。 对 探 针 进 行 时 针 则 步 。 

@ 交互 界面 。 数 据 展示 平台 。 


图 8-11 探 针 布 轩 的 应 用 范围 


用 户 关 心 的 需要 进行 网 络 监控 的 何 题 主要 有 以 下 几 个 方面 。 

。 分 析 关 键 应 用 程序 的 性 能 ; 

。 定位 问题 的 根源 是 在 客户 端 、 服 务 器 、 应 用 程序 还 是 网 络 ; 

。 ”哪些 应 用 程序 占用 大 二 和 带宽; 

。 哪些 用 户 产生 了 最 大 的 网 络 流 二 。 

网 络 应 用 性 能 监控 包 插 的 内 容 主要 有 如 下 几 个 方面 。 

e。 应 用 监视 ，1500 多 种 应 用 及 15 种 定义 模式 、 网 络 的 硬件 设备 、 网 络 应 用 的 流 
全 和 流量 的 拓扑 结构 ， 如 图 8-12 所 示 为 测试 工具 中 提供 的 应 用 监视 。 
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图 8-12 ”测试 工具 提供 的 应 用 监视 


。 关键 特性 ， 客户 和 服务 器 通信 和 量 、 应 用 响应 时 间 和 资源 应 用 的 业务 水 平等 ， 如 
图 8-13 所 示 为 工作 站 信息 。 
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图 8-13 工作 站 信息 


。 ” 按 会 话 统 计 传 输 负载 ， 测 试 应 用 和 会 话 级 响应 时 间 ， 以 及 自动 为 通过 网 络 中 每 
一 个 联网 设备 的 每 一 个 应 用 程序 生成 负载 图 。 
。 应用、 会 话 级 、 事 务 响应 时 间 ， 如 图 8-14 所 示 为 应 用 的 响应 时 间 等 相关 信息 。 
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图 8-14 ”应 用 的 哆 应 时 间 


es。 ， 测 试 延 迟 是 在 何 处 被 引入 网 络 的 ， 瓶 颈 在 哪里 。 如 图 8-15 所 示 为 日 应 用 流量 相 
A 作用 于 天， 


Prt Pr 


图 8-15 日 应 用 流量 相关 信息 


。 趋势 分 析 。 应 用 在 网 络 上 性 能 测试 要 得 到 哪些 指标 的 值 呢 ， 以 及 怎样 分 析 结 采 
值 ， 我 们 在 后 面 章 节 会 有 详细 的 举例 论述 。 
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3. 应 用 在 服务 器 上 性 能 的 测试 

这 里 我 们 谈 到 的 “测试 ”的 概念 就 是 对 服务 器 执行 监控 。 监 控 的 内 容 主 要 包括 操作 
系统 、 数 据 库 以 及 中 间 件 等 。 目 前 监控 的 手段 可 以 采用 工具 目 动 监 控 ， 也 可 以 使 用 操作 
系统 、 数 据 库 、 中 间 件 本 身 提供 的 监控 工具 。 利 用 工具 监控 有 下 列 优 后 。 
减少 故障 诊断 和 分 析 时 间 ; 
减少 手工 定位 的 时 间 和 避免 误诊 ; 
在 问题 发 生前 定位 故障 ; 
验证 可 达到 的 性 能 水 平和 服务 水 平 协议 ; 
持续 的 服务 器 、 数 据 库 和 应 用 性 能 和 可 用 性 监控 ; 
故障 诊断 和 恢复 ;自动 报警 、 故 障 恢复 程序 、 故 障 恢复 信息 ; 
服务 器 、 应 用 可 用 性 和 性 能 报告 。 

操作 系统 、 数 据 库 、 中 间 件 本 身 提 供 的 监控 工具 有 时 采用 命令 行 的 方式 ， 有 时 具备 
友好 的 图 形 界面 ， 例 如 ，Saloris 监控 服务 器 资源 占用 可 以 使 用 vmstat 或 者 iostat 命令 ， 
Web 应 用 中 间 件 Websphere 的 监控 可 以 采用 系统 本 身 提供 的 Web 页 面 的 监控 工具 , 当然 
也 有 一 些 用 于 特定 系统 的 监控 工具 ， 例 如 用 于 AIX 操作 系统 的 监控 工具 nmon32。 

操作 系统 的 监控 涉及 后 台 重 要 服务 器 操作 系统 监控 ， 如 果 系 统 采 用 负载 均衡 机 制 ， 
那么 还 有 必要 验证 负载 均衡 是 否 能 处 理 大 的 客户 端 压力 ， 并 且 正 确实 现 负 载 均衡 。 操 作 
系统 有 很 多 种 类 型 ， 监 控 的 指标 也 不 尽 相 同 ， 但 对 于 主流 的 操作 系统 ， 我 们 最 关注 的 指 
标 包 括 三 个 ， 即 CPU、 内存 以 及 硬盘 ， 这 些 指 标 怎 样 分 析 以 及 对 其 他 关联 指标 的 影响 如 
何 ， 在 后 面 章节 我 们 会 以 实例 的 形式 详细 论述 。 

对 数据 库 的 监控 非常 复杂 ， 不 同 数 据 库 监控 的 指标 存在 差异 ， 我 们 将 共性 的 指标 抽 
取出 来 ， 如 下 所 示 。 

。 监控 数据 库 系 统 中 关键 的 资源 ; 
监测 读 写 页 面 的 使 用 情况 ; “， 
监控 超出 共享 内 存 缓冲 区 的 操作 数 ; 
监测 上 一 轮 询 期 间作 业 等 待 缓冲 区 的 时 间 ; 
跟踪 共享 内 存 中 物理 日 志和 逻辑 日 志 的 缓 神 区 的 使 用 率 ; 
监控 磁盘 的 数据 块 使 用 情况 以 及 被 频繁 读 写 的 热点 区 域 ; 
监控 用 户 事务 或 者 表 空 间 监 控 事 务 日 志 ; 
监控 数据 库 锁 资源 ; 
监测 关键 业务 的 数据 表 的 表 空 间 增 长 ; 
监控 SQL 执行 情况 。 
下 面 举 一 个 Oracle 资源 监控 的 例子 ， 可 以 看 到 重点 关注 的 内 容 包 括 内 存 利 用 、 事 件 
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统计 、SQL 分 析 、 会 话 统计 。 

e。 内存 利 用 : 

(db block gets; 

@ db block changes; 

@@) global cache gets; 

global cache get time。 

e。 事件 统计 : 

() enqueue waits; 

shared hash latch upgrades ~ no wait; 

@) shared hash latch upgrades — wait; 

(4) redo log space wait time。 

e SQL 分 析 : 

table scan rows gotten: 

@ table scans(long tables): 

table scans(short tables); 

由 index fast full scans (full)。 . 

。 会 话 统计 : 

(D session logical reads; 

© session stored procedure space: 

CPU used by this session; 

session connect time。 

中 间 件 服务 器 包括 Web 服务 器 ， 例 如 Apache; Web 应 用 服务 器 ， 例 如 Websphere 
和 WebLogic; 应 用 服务 器 ， 例 如 tuxedo 等 。 国 产 中 间 件 目前 也 在 广泛 地 使 用 ， 例 如 
TongLink、 名 称 等 。 中 间 件 是 客户 端 负载 压力 的 直接 承受 者 ， 中 间 件 的 资源 使 用 得 是 否 
合理 ， 与 客户 端 以 及 与 后 台数 据 库 服务 器 连接 是 否 合理 ， 都 直接 影响 系统 的 性 能 。 

中 间 件 的 监控 要 得 到 哪些 指标 的 值 呢 ， 以 及 怎样 分 析 结 果 值 ， 我 们 在 后 面 章节 会 有 
详细 的 论述 。 
8.2.2 ” 疫 入 强度 测试 


疫 劳 强度 对 系统 来 讲 也 是 一 种 负载 ， 它 强调 的 是 长 时 间 的 考核 。 

1. 日 常 业务 疲劳 强度 模拟 

有 些 客户 反映 “为 什么 我 们 的 系统 运行 一 段 时 间 后 服务 器 就 要 重 起 ”， 还 有 些 客 三 
反映 “为 什么 我 们 的 系统 越 用 越 慢 昵 ” 等 这 样 一 类 问题 ， 这 些 就 是 系统 不 能 承受 长 时 间 
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疫 劳 运行 的 表现 。 

系统 日 常 业务 可 能 负载 并 不 大 ， 但 其 特点 是 持续 时 间 长 ， 比 如 正常 情况 下 每 天 持续 
8 小 时 ， 而 对 某 些 系统 ，24 小 时 都 需要 运转 。 那么 系统 能 下 在 正 芝 负载 情况 下 长 时 间 运 
行 呢 ? 要 验证 此 项 性 能 的 测试 就 是 疲劳 强度 测试 。 

日 常 业 务 疲劳 强度 测试 ， 就 是 模拟 系统 的 日 常 业 务 ， 持 续 执行 “一 段 时 间 ”， 暴 露 
系统 的 性 能 问题 ， 例 如 内 存 泄 注 、 资 源 争 用 等 ， 分 析 与 调整 的 方法 与 并 发 性 能 测试 是 非 
常 类 似 的 。 

2， 高 峰 业 务 疲劳 强度 模拟 

一 般 悄 况 下 系统 运行 都 有 其 高 峰 期 ,比如 对 一 个 鲜花 订购 系统 而 言 , 在 特殊 的 节日 ， 
例如 情人 节 、 母 亲 节 等 , 都 是 其 高 蜂 期 ; 那么 一 个 医院 网 上 挂号 系统 ,早晨 8:00~11:00 
就 是 其 业务 的 商 峰 期 。 疲 劳 强 度 测试 必须 要 模拟 这 样 的 商 峰 业务 。 我 们 可 以 看 到 ， 这 样 
的 负载 是 对 系统 的 双重 考验 ， 既 包括 负载 ， 又 包括 长 时 间 。 

这 里 我 们 需要 对 “一 段 时 间 ” 有 个 合理 的 选择 ， 这 个 时 间 指 标 要 满足 两 个 主要 条 件 ， 
一 是 这 段 模拟 时 间 所 处 理 的 交易 量 要 达到 系统 疲劳 强度 需求 的 业务 量 ， 例 如 某 个 系统 至 
少 要 无 故障 运行 3 个 月 , 处理 30 万 笔 交 易 , 那么 我 们 所 执行 的 疲劳 强度 测试 就 必须 保证 
这 个 交易 量 ， 以 满足 系统 对 长 时 间 运 行 过 程 中 所 递增 的 数据 量 的 要 求 ， 二 是 在 这 段 测试 
周期 中 必须 通过 加 大 负载 ， 以 及 尽 可 能 长 的 测试 周期 来 保证 疲劳 强度 测试 。 

在 后 面 章节 的 实例 部 分 有 相关 举例 。 


8.2.3 大 数据 量 测 试 


1. 大 数据 量 测 试 类 型 

大 数据 量 测 试 包 括 独立 数据 量 测 试 和 综合 数据 量 测试 两 种 主要 类 型 。 

(1)》 独立 数据 量 测试 

针对 某 举 系统 存储 、 人 传输、 统计、 查询 等 业务 进行 单 用 户 大 数据 量 测试 。 

例如 ， 对 某 些 系统 经 常会 有 上 传 、 下 载 的 操作 ， 操 作 的 对 象 可 能 就 是 大 数据 量 ， 包 
括 图 片 文件 、 音 频 文件 或 者 视频 文件 等 。 还 有 些 系统 存在 大 量 的 批 处 理 任务 ， 批 处 理 任 
务 是 指 一 次 操作 将 对 数据 库 中 大 量 数据 进行 互 斥 访问 的 数据 库 事务 。 这 种 类 型 的 事务 通 
常 将 更 新 同一 个 数据 库 表 中 的 数 千 项 乃至 更 多 的 数据 。 由 于 这 类 任务 把 所 有 操作 放置 在 
同一 个 数据 库 事务 中 ， 所 访问 的 资源 在 其 执行 过 程 中 始终 被 锁定 ， 必 然 会 对 其 他 普通 事 
务 的 访问 造成 影响 。 此 外 ， 由 于 这 类 任务 本 身 将 对 数据 库 服 务 器 造成 巨大 的 负担 ， 使 得 
服务 器 负载 加 重 ， 从 而 影响 独立 事务 的 响应 时 间 。 通 常情 况 下 ， 批 处 理 任务 推荐 在 系统 
具有 较 长 空 用 时 完成 (如 晚上 ),， 这 样 可 以 保证 不 对 独立 事务 造成 影响 。 如 果 由 于 业务 的 
要 求 ， 批 处 理 任务 必须 与 独立 事务 混合 运行 ， 则 必须 对 其 加 以 改造 ， 以 减轻 对 其 他 事务 
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的 影响 。 

(2) 综合 数据 重 测 试 

我 们 提出 “一 定 的 数据 量 是 并 发 测试 与 疲劳 测试 的 基础 ”， 在 并 发 测试 和 疲劳 强度 
测试 过 程 中 ， 如 果 不 考虑 数据 量 对 系统 性 能 的 影响 ， 无 疑 会 带 来 一 个 缺陷 。 例 如 ， 模 拟 
某 个 系统 执行 “查询 ”操作 ， 在 “并 发 用 户 数 为 100、 查 询 记 录 数 为 10000 条 ”这 样 的 
负载 下 ， 这 个 系统 运转 正常 ， 性 能 可 接受 ;但 是 当 负 载 发 生变 化 ， 变 为 “并 发 用 户 数 为 
100、 查 询 记 录 数 为 100000 条 ”时 ， 系 统 出 现 长 时 间 无 响应 现象 。 因 此 在 测试 实施 过 程 
中 ， 我 们 要 采用 并 发 测试 、 疲 劳 强 度 测 试 以 及 大 数据 量 测试 相 结合 的 综合 测试 方案 。 

2， 自动 生成 大 数据 量 

如 何 解 决 “ 大 数据 重 测试 需求 ， 但 很 难 在 较 短 的 时 间 内 生成 大 量 业 务 数据 ”? 

首先 ， 可 以 借助 自动 化 测试 工具 ， 利 用 数据 库 测 试 数据 自动 生成 工具 ， 例 如 
TESTBytes， 确 定 需 要 生成 的 数据 类 型 ， 通 过 与 数据 库 的 连接 来 自动 生成 数 百 万 行 的 正 
确 的 测试 数据 。 

其 次 ， 利 用 自动 化 负载 压力 测试 工具 ， 模 拟 用 户 业务 操作 ， 同 时 并 发 数 百 个 或 者 数 
千 个 用 户 生 成 相关 数据 ， 并 且 测 试 工程 师 并 不 需要 清楚 地 知道 数据 表 与 表 之 间 的 关系 等 
细节 内 容 ， 这 样 就 事半功倍 了 。 例 如 要 生成 订单 ， 不 必 考 虑 订单 中 的 信息 在 数据 库 内 部 
到 底 与 哪些 表 有 关系 ， 只 需要 简单 录制 一 个 用 户 生成 订单 的 操作 ， 然 后 模拟 大 重 虚 拟 用 
户 生成 订单 数据 就 可 以 了 。 

再 次 ， 我 们 还 可 以 针对 某 个 应 用 ， 在 了 解 整个 数据 库 结 构 的 基础 上 ， 目 主 开发 数据 
生成 工具 ， 也 可 以 利用 数据 库 本 身 提供 的 辅助 工具 来 生成 数据 。 

3. 大 数据 和 量 管理 

具备 大 数据 量 测试 条 件 之 后 ， 并 非 就 大 功 告 成 了 ， 如 何 管理 这 些 数据 决定 了 能 否 成 
功 地 实现 大 数据 量 测 试 。 可 以 采用 手工 管理 和 自动 化 工具 管理 两 种 方式 。 下 面 给 大 家 介 
绍 一 种 数据 管理 工具 File-Aid/CS。 _ 

File-Aid/CS 是 一 套 为 帮助 开发 者 、 测 试 人 员 、 质 量 保证 团队 更 加 有 效 地 在 开发 、 测 
试 和 支持 C/S 或 Web 应 用 中 的 测试 数据 管理 工具 。File-Aid/CS 提供 数据 拷贝 ,构造 子 集 ， 
数据 转换 ， 数 据 编 辑 ， 数 据 浏览 ， 数 据 生 成 ， 数 据 比较 ， 数 据 迁 移 等 功能 。File-Aid/CS 
运行 在 Windows NT、XP、2000、98 等 平台 上 ， 支 持 Oracle，Microsoft SQL Server, DB2 
UDB，Sybase 和 Informix 数据 库 。 

下 面 举例 来 看 这 个 工具 有 哪些 用 途 。 例 如 ， 我 们 需要 比较 一 个 软件 的 数据 库 表 中 字 
段 格式 是 否 与 标准 格式 相符 ， 可 以 理解 为 一 种 标准 符合 性 测试 。 借 助 于 这 个 工具 ， 可 以 
做 到 下 面 几 点 。 
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e 转换 关系 数据 库 数 据 成 XML 数据 ; 

。 比较 XML 数据 与 关系 数据 库 数据 ; 
”。 比较 XML 文件 。 

利用 File-Aid/CSs 中 提供 的 数据 迁移 功能 , 还 可 以 实现 大 数据 量 跨 平台 迁移 , 例如 在 
平台 软件 测试 中 ， 可 以 将 为 Oracle 数据 库 准 备 的 数据 直接 迁移 到 SQLServer 数据 库 上 。 


8.3 ”负载 压力 测试 指标 


负载 压力 测试 主要 测试 哪些 内 容 ， 怎 样 才能 达到 测试 目的 ， 怎 样 又 能 事半功倍 呢 ? 
这 些 问 题 的 答案 就 是 我 们 在 这 里 讨论 的 测试 指标 。 

每 个 测试 工具 都 会 提供 许多 测试 指标 ， 有 些 是 大 家 都 具备 的 ， 例 如 交易 响应 时 间 ， 
而 有 些 是 某 个 工具 独 具 的 “招牌 ” 例如 LoadRunner 丰富 的 资源 监控 计数 器 。 在 选择 工 
具 时 可 以 综合 考虑 其 优 劣 ， 关 键 在 于 能 够 提供 满足 测试 目的 指标 的 工具 ， 这 才 是 我 们 要 
选择 的 工具 。 一 般 情况 下 ， 我 们 可 以 选择 的 指标 包括 以 下 几 类 : 

。 客户 端 交 易 处 理性 能 指标 ; 

。 服务 器 资源 监控 指标 ， 例 如 :; UNIX:; 

。 数据库 资源 监控 指标 ， 例 如 : Oracle: 

。 Web 服务 器 监控 指标 ， 例 如 ，Apache; 

。 中 间 件 监控 指标 ， 例 如 : TUXEDO 等 。 

要 提醒 大 家 的 是 ， 指 标的 选择 并 非 越 多 越 好 。 如 果 测 试 需求 仅仅 是 系统 的 负载 压力 
性 能 评测 ， 那 么 只 要 重点 关注 客户 端 交 易 处 理性 能 指标 就 够 了 ， 许 多 工具 都 可 以 帮助 你 
完成 任务 ， 如 果 测 试 需 求 关 心 系统 后 台 服 务 器 承受 负载 压力 的 能 力 ， 那 么 我 们 重点 就 是 
监控 服务 器 、 数 据 库 、 中 间 件 等 的 资源 使 用 情况 ， 较 高 级 别 的 性 能 调 优 是 在 系统 故障 定 
位 的 前 提 下 实施 的 ， 故 障 定位 的 过 程 同时 考验 测试 工程 师 的 素质 与 测试 工具 的 能 力 ， 可 
以 说 是 非常 困难 的 一 件 事情 。 这 种 情况 下 ， 我 们 要 测试 的 指标 就 要 求 非常 全 面 ， 包 括 客 
户 端 交 易 处 理性 能 指标 、 服 务 器 资源 监控 指标 、 网 络 品质 指标 ， 以 及 应 用 在 网 络 上 的 故 
障 定位 指标 等 。 这 里 包含 了 两 层 含义 ， 一 层 是 系统 的 负载 压力 故障 定位 ， 另 一 层 是 系统 
应 用 实际 部 署 故障 定位 。 前 一 层 是 后 一 层 的 基础 。 需 要 说 明 的 是 ， 要 完成 这 一 工作 ， 有 
时 需要 利用 多 种 类 型 的 测试 工具 ， 例 如 :负载 压力 测试 工具 、 网 络 品质 监控 工具 、 应 用 
网 络 故障 定位 工具 、 服 务 器 资源 监控 工具 等 。 


8.3.1 ”交易 处 理性 能 指标 
交易 处 理性 能 指标 主要 包括 下 列 4 项 。 
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® ”并 发 用 户 数 指标 。 

se 交易 处 理 指标 。 
平均 事务 响应 时 间 。 

@ 每 秒 事务 数 。 

@ 每 秒 事 务 总 数 。 

事务 摘要 。 

@ 事务 性 能 摘要 。 

@@ 事务 响应 时 间 (负载 下 )。 
四 事务 响应 时 间 (百分比 )。 
事务 响应 时 间 ( 分 布 )。 

。 Web 请 求 指标 。 - 

每 秒 点 击 次 数 。 

@@ 点 击 次 数 摘要 。 

@ 吞吐 量 。 

吞吐 量 摘 要 。 

@@ HTTP 状态 代码 摘要 。 
每 秒 HTTP 响应 数 。 

@ 每 秒 下 载 页 面 数 。 

每 秒 重 试 次 数 。 

重 试 次 数 摘要 。 

@ 连接 数 。 

加 每 秒 连接 数 。 

@ 每 秒 SSL 连接 数 。 

e。 Web 页 面 组 件 指 标 。 

Q@ 激活 网 页 细 分 。 

@ 页 面 组 件 细 分 。 

@ 页 面 组 件 细 分 〈 随 时 间 变 化 )。 
页 面 下载 时 间 细 分 。 

@@ 页 面 下 载 时 间 细 分 (随时 间 变 化 )。 
第 一 次 缓冲 细 分 时 间 。 
@) 第 一 次 缓冲 时 间 细 分 〈 随 时 间 变 化 )。 
已 下 载 组 件 大 小 。 
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8.3.2 服务 器 操作 系统 资源 监控 


1，UNIX 操作 系统 


如 表 8-1 所 示 为 UNIX 操作 系统 资源 监控 指标 。 


度 盘 
Average load 
Collision rate 
Context Switches rate 
CPU utilization 
Disk rate 
jncoming packets error rate 
Incoming packets rate 
interrupt rate 
Outgoing packets errors rate 
Outgoing packets rate 
Page-in rate 
Page-out rate 
Paging rate 
Swap-in rate 
Swap-Out rate 
System mode CPU utilization 
User mode CPU utilization 


家 8-1 UNIX 操作 系统 资源 监控 指标 


描 述 
上 一 分 钟 同时 处 于 “就 位 ”状态 的 平均 进程 数 
每 秒 钟 在 以 太 网 上 检测 到 的 冲突 数 


| 每 秒 钟 在 进程 或 线程 之 间 的 切换 次 数 


CPU 的 使 用 时 间 百 分 比 

磁盘 传输 速率 ] 

接收 以 太 网 数据 包 时 每 秒 钟 接收 到 的 错误 数 
每 秒 钟 传 入 的 以 太 网 数据 包 数 

每 秒 钟 内 的 设备 中 疡 数 

发 送 以 太 网 数据 包 时 每 秒 钟 发 送 的 错误 数 

每 秒 钟 传 出 的 以 太 网 数据 包 数 

每 秒 钟 读 入 到 物理 内 存 中 的 页 数 

每 秒 钟 写 入 页 面 文件 和 从 物理 内 存 中 删除 的 页 数 
每 秒 钟 读 入 物理 内 存 或 写 入 页 面 文 件 中 的 页 数 
正在 交换 的 进程 数 

正在 交换 的 进程 数 

在 系统 模式 下 使 用 CPU 的 时 间 百 分 比 

在 用 户 模式 下 使 用 CPU 的 时 间 百 分 比 


Linux 操作 系统 与 UNIX 操作 系统 类 似 。 


2. Windows 操作 系统 


如 表 8-2 所 示 为 Windows 操作 系统 资源 监控 指标 。 


家 8-2 Windows 操作 系统 资源 监控 指标 


对 象 | 度 最 | 描述 


System | % Total Processor Time 


系统 上 所 有 处 理 器 都 忙于 执行 非 空闲 线程 的 平均 时 间 的 
百分比 。 在 多 处 理 器 系统 上 ， 如 果 所 有 处 理 器 始终 繁忙 ， 
此 值 是 100%, 如 果 所 有 处 理 器 是 50% 繁 从 , 此 值 为 50%。 
而 如 果 这 些 处 理 器 中 的 1/4 是 100% 繁 忙 的 ， 刘 此 值 为 
25%。 它 反映 了 用 于 有 用 作业 上 的 时 间 的 比率 。 每 个 处 理 
器 将 分 配给 闲置 进程 中 的 一 个 闲置 线程 ， 以 消耗 所 有 其 
他 线程 不 使 用 的 那些 非 生产 性 处 理 器 周期 


www.TopSage.com 


230 软件 评测 师 教程 
续 表 


对 象 描述 

处 理 器 执行 非 空闲 线程 的 时 间 百分比 ， 此 计数 器 设计 为 
处 理 器 活动 的 一 个 主要 指示 器 。 它 是 通过 测量 处 理 器 在 
每 个 采样 间隔 中 执行 空闲 进程 的 线程 所 花 则 的 时 间 ， 然 
后 从 100% 中 减 去 此 值 来 进行 计算 的 《每 个 处 理 器 都 有 一 
个 空闲 线程 ， 它 在 没有 其 他 线程 准备 运行 时 消耗 处 理 器 
周期 )。 它 可 以 反映 有 用 作业 占用 的 采样 间隔 的 百分比 。 
此 计数 器 显示 在 采样 期 间 所 观察 到 的 繁忙 时 间 的 平均 百 
分 比 。 它 是 通过 监视 服务 处 于 非 活动 状态 的 时 间 ， 然 后 
从 100% 中 减 去 此 值 来 计算 的 


ee 加 计算 机 向 文件 系统 设备 发 出 读 取 和 写 入 操作 的 速度 。 此 
en ile Data Operatiosec | 操作 不 包括 文件 控制 操作 


| 线程 单元 中 的 处 理 器 队列 的 即时 长 度 。 如 果 您 不 同时 监 
视线 程 计数 ， 则 此 计数 始终 为 0。 所 有 处 理 器 都 使 用 单一 
队列 (线程 在 该 队列 中 等 待 处 理 器 进行 循环 )。 此 长 度 不 
包括 当前 正在 执行 的 线程 。 一 般 情 况 下 ， 如 果 处 理 器 队 
列 的 长 度 一 直 超过 2， 则 可 能 表示 处 理 器 堵塞 。 此 值 为 即 
时 计数 ， 不 是 一 段 时 间 的 平均 值 


此 值 为 处 理 器 中 的 页 面 错误 的 计数 。 当 进程 引用 特定 的 
虚拟 内 存 页 ， 该 页 不 在 其 在 主 内 存 的 工作 集 当 中 时 ， 将 

Memory Page Faults/sec 出 现 页 面 错 误 。 如 果 某 页 位 于 待机 列表 中 因此 它 已 经 
位 于 主 内 存 中 )， 或 者 它 正 在 被 共享 该 页 的 其 他 进程 所 使 
用 ， 则 页 面 错误 不 会 导致 该 页 从 磁盘 中 提取 出 


ee 选 定 的 磁盘 驱动 器 对 读 写 请 求 提供 服务 的 已 用 时 间 所 占 
PhysicalDisk |% Disk Time 百分比 


非 分 页 池 中 的 字 节 数 ， 指 可 供 操 作 系 统 组 件 完 成 指定 任 
务 后 从 其 中 获得 空间 的 系统 内 存 区 域 。 非 分 页 池 页 面 不 
可 以 退出 到 分 页 文件 中 ， 它 们 自分 配 以 来 就 始终 位 于 主 
内 存 中 


为 解析 内 存 对 页 面 (引用 时 不 在 内 存 中 ) 的 引用 而 从 磁 
| | 盘 读 取 的 页 数 或 写 入 磁盘 的 页 数 。 这 是 “Pages Inputsec” 
和 “Pages Outputsec” 的 和 。 此 计数 器 中 包括 的 页 面 流 量 
Memory Pages/sec 代表 着 用 于 访问 应 用 程序 的 文件 数据 的 系统 级 存 。 此 值 
还 包括 传递 到 /来 自 非 缓存 映 射 内 存 文 件 的 页 数 ， 如 果 您 
关心 内 存 压 力 过 大 问题 〈 即 系统 失效 ) 和 可 能 产生 的 过 
| 多 分 页 ， 则 这 是 您 值得 考虑 的 主要 计数 器 
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对 和 旬 描述 

计算 机 接收 并 处 理 硬件 中 断 的 速度 。 可 能 生成 中 断 的 设 

ya ee 备 有 系统 时 钟 、 鼠标 、 数据 通信 线路 、 网 络 接口 卡 和 其 
他 外 围 设备 。 此 计数 指示 这 些 设备 在 计算 机 上 所 处 的 繁 

忙 程度 。 另 请 参阅 Processor: Interrupts/sec 


计算 机 在 收集 数据 时 的 线程 数 。 注 意 ， 这 是 一 个 即时 计 
Objects Threads 数 ， 不 是 一 段 时 间 的 平均 值 。 线 程 是 基本 的 可 执行 实体 ， 
用 于 在 处 理 器 中 执行 指令 


Process |Private Bytes ”| 专 为 此 进程 分 配 , 无 法 与 其 他 进程 并 训 的 加 朋 字 届 


针对 操作 系统 的 监控 ， 如 果 我 们 需要 监控 磁盘 管理 、 文 件 系 统 、 内 存 、CPU 等 方面 
的 内 容 ， 下 面 给 出 相关 的 一 些 监控 建议 。 

。 磁盘 管理 。 

QD 采集 物理 读 / 写 和 逻辑 读 / 写 的 信息 。 

@ 收集 操作 系统 和 其 他 平台 上 的 磁盘 忙 信息 。 

3 监控 VO。 

。 文件 系统 。 

QD 显示 每 个 文件 系统 的 使 用 率 ， 检 测 文件 系统 空闲 空间 的 大 小 。 


@) 显示 文件 系统 的 mount on device、type、size 等 内 容 。 

@ 可 以 监控 特殊 的 文件 系统 ， 如 NFS，CD-ROM。 

@ 检测 特定 文件 的 存在 及 超出 特定 期 限 的 文件 存在 。 

e。 内存。 

(D 显示 可 用 的 内 存 数量 。 

凶 决定 当前 的 内 存 短缺 量 。 

@ 帮助 分 析 内 存 问题 。 

@) 显示 内 存 的 实 存 、 所 有 虚 存 和 kernel 的 状态 等 信息 。 

e (CPU。 

@ 记录 CPU 的 使 用 率 。 

@ 监测 CPU 参数 , 包括 CPU idlje，CPU waits，CPU system usage，CPU user usage， 
run queue length。 

@ 显示 CPU context switches 的 总 数 。 

@ 显示 CPU 处 理 系统 任务 和 完成 用 户 任务 的 时 间 比 例 。 
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8.3.3 ”数据 库 资源 监控 


1. Oracle 
如 表 8-3 所 示 为 Oracle 资源 监控 指标 。 
表 8-3 Oracle 资源 监控 指标 
度 量 描 述 
这 是 在 用 户 调 用 开始 和 结束 之 间 会 话 所 占用 的 CPU 时 间 (以 10ms 为 音 
~pU woed bv thio scsi | 位 )。 一 些 用 户 调用 在 10ms 之 内 即 可 完成 ， 因 此 用 户 调用 的 开始 和 结束 
0 | 时 间 可 以 是 相同 的 ， 在 这 种 情况 下 ， 系 统 值 为 0oms， 操 作 系统 报告 中 可 
能 有 类 似 的 问题 ， 尤 其 是 在 经 历 许多 上 下 文 切换 的 系统 中 
ee | 通过 Net8 从 客户 端 接收 的 总 字 节 数 
SQL*Net from client | 
Logons current | 当前 的 登录 总 数 : 
Opens of replaced files ”| 由 于 已 经 不 在 进程 文件 缓存 中 ， 所 以 需要 重新 打开 的 文件 总 数 
| 在 每 次 登录 、 解 析 或 执行 时 ，Oracle 会 分 配 资源 (call state 对 象 ) 以 记录 
User calls | 相关 的 用 户 调 用 数据 结构 。 在 确定 活动 时 ， 用 户 调用 与 RPI 调用 的 比 指 
z | 明了 因 用 户 发 往 Oracle 的 请 求 类 型 而 生成 的 内 部 工作 二 
SQL "Net roundtips | 发 送 到 客户 端 和 从 客户 端 接受 的 Net8 消息 的 总 数 
to/from client 
ee va SQ -et | 从 前 台 进程 中 发 送 到 客户 端的 总 字 节 数 
Opened cursors current “| 当前 打开 的 光标 总 数 
由 于 与 一 致 更 改 的 关系 非常 密切 ， 此 统计 计算 对 SGA 中 所 有 块 执行 的 、 
Rs 作为 更 新 或 删除 操作 一 部 分 的 更 改 总 数 。 这 些 更 改 将 生成 重 做 日 志 项 。 
re 如 果 事物 被 提交 ， 将 是 对 数据 库 的 永久 性 更 改 。 此 统计 是 一 个 全 部 数据 
| 库 作业 的 粗略 指示 ， 并 且 指 出 (可 能 在 每 事物 级 上 ) 弄 胜 缓冲 区 的 速率 
i 由 实例 执行 的 文件 打开 总 数 ， 每 个 进程 需要 许多 文件 (控制 文件 、 日 志 
Win | 文件 、 数 据 库 文件 ) 以便 针对 数据 库 进 行 工作 
2. Syshbase 


如 表 8-4 所 示 为 Sysbase 资源 监控 指标 。 


表 8-4 Sysbase 资源 监控 指标 


对 和 铺 描述 . 
报告 接收 的 网 络 数据 包 数 

Network ”|Average packet size (Send) ”| 报告 发 送 的 网 络 数据 包 数 
报告 在 采样 间隔 期 间接 收 的 字 节 数 
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对 和 象 | 度 最 措 。 述 


Network 


Memory 


Disk 


Engine 


Stored 
Procedures 


SqlSrvr 


报告 每 秒 接收 的 字 节 数 

报告 在 采样 间隔 期 间 发 送 的 字 节 数 

报告 每 秒 发 送 的 字 节 数 \ 
报告 在 采样 间隔 期 间接 收 的 网 络 数据 包 效 
报告 每 秒 接收 的 网 络 数据 包 数 

报告 在 采样 间隔 期 间 发 送 的 网 络 数据 包 数 


报告 每 秒 发 送 的 网 络 数据 包 数 


报告 分 配给 页 面 级 存 的 内 存 重 
ny (以 字 节 为 单位 ) 


报告 从 数据 库 设备 中 进行 的 读 取 数 

报告 从 数据 库 设备 中 进行 的 写 入 数 

报告 访问 设备 的 等 待 次 数 

Grants | 报告 授予 访问 设备 权限 的 次 数 

告 Adaptive Server 处 于 “ 繁 位 ”状态 的 时 间 百 分 比 
报告 引 获 使 用 了 多 少 “ 繁 忙 ”时 间 

报告 从 级 存 和 从 数据 库 服务 中 的 数据 页 读 取 数 

报告 从 数据 级 存 中 无 法 获得 的 数据 页 读 取 数 

报告 写 入 数据 库 设备 的 数据 页 数 

报告 在 采样 间隔 期 间 执行 存储 过 程 的 次 数 

报告 在 会 话 期 间 执行 存储 过 程 的 次 数 

Average duration (sampling | 报告 在 采样 间隔 期 间 执行 存储 过 程 所 花费 的 时 间 〈 以 秒 
period) 为 单位 ) 


. 报告 在 会 话 期 间 执 行 存储 过 程 所 花费 的 时 间 《〈 以 秒 为 
Average duration (session) 单位 ) 


报告 成 功 锁定 请 求 的 百分比 

报告 锁定 数 。 这 是 一 个 累加 值 

报告 立即 授予 (而 不 必 等 待 释放 另 一 个 锁定 ) 的 锁定 数 
报告 在 另 一 个 锁定 被 释放 后 授予 的 锁定 数 

报告 已 经 请 求 但 是 没有 授予 的 锁定 数 

报告 等 待 锁定 的 平均 时 间 

报告 锁定 殖 ， 这 是 一 个 加 加 值 

报告 Adaptive server 处 于 “ 繁 位 ”状态 的 时 间 百 分 比 
报告 已 提交 的 Transact-SQL 语句 块 (事务) 数 


报告 死 锁 数 
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对 象 


Cache 


Cache 


Process 


Transaction 


Transaction 


度 


rem_ cons_in 


软件 评测 师 教程 


续 表 

描述 

报告 从 级 存 中 得 到 的 数据 页 读 取 (而 无 需 从 物理 页 读 取 ) 
| 次数 百分比 

报告 从 组 存 和 从 数据 库 服务 中 的 数据 页 读 取 数 

报告 每 秒 从 级 存 和 从 数据 库 服务 中 的 数据 页 读 取 数 


报告 从 数据 缓存 中 无 法 获得 的 数据 页 读 取 数 
报告 每 秒 从 数据 级 存 中 无 法 获得 的 数据 页 读 取 数 
momo 报告 写 入 数据 库 设备 的 数据 页 数 

报告 每 秒 写 入 数据 库 设备 的 数据 页 数 


WE | 报告 运行 特定 应 用 程序 的 进程 处 于 “运行 ”状态 的 时 间 
6 Process time (process) 百分比 《多 于 所 有 进程 都 处 于 “运行 ” 状态 的 时 间 ) 


报告 各 进程 的 锁定 数 ， 这 是 一 个 累加 值 


| 报告 各 进程 从 缓存 中 得 到 的 数据 页 读 取 (而 无 需 从 物理 
| ” 页 读 取 》 次 数 百分比 
报告 各 进程 写 入 数据 库 设备 的 数据 页 数 


报告 在 会 话 期 间 已 提交 的 Transact 一 SQL 语句 块 (事务 ) 数 
报告 在 会 话 期 间 从 数据 库 表 中 删除 的 行 数 


报告 在 会 话 期 间 到 数据 库 表 中 的 插入 操作 数 


报告 在 会 话 期 间 对 数据 库 表 所 做 的 更 新 ， 


ye 报告 在 会 话 期 间 昂 贵 的 就 地 和 非 就 地 更 新 (除了 已 推迟 
PoAles In pgee 的 更 新 之 外 的 所 有 更 新 ) 的 总 和 


报告 每 秒 提交 的 Transact-SQL 语句 块 (事务) 数 


Rows (Deleted)/sec 。 | 报告 每 秒 从 数据 库 表 中 删除 的 行 数 


|Inserts/sec | 报告 每 秒 到 数据 库 表 中 的 插入 操作 数 


Updatessec。 | 报告 每 秒 对 数据 库 表 所 做 的 更 新 


ER 报告 每 秒 代价 高 昂 的 就 地 和 非 就 地 更 新 (除了 已 推迟 的 
Di 更 新 之 外 的 所 有 更 新 ) 的 总 和 


3. DB2 
如 表 8-5、 


表 8-6 及 表 8-7 所 示 为 DB2 资源 监控 指标 。 


家 8.5 DB2 资源 监控 指标 〈 数 据 库 管 理 ) 

量 描 述 
到 正在 被 监视 的 数据 库 管理 器 实例 的 当前 连接 数 ， 从 远程 客户 端 启动 
当前 连接 到 数据 库 的 远程 应 用 程序 数 ， 这 些 应 用 程序 正在 处 理 被 监视 


rem_cons_in_exec 数据 库 管理 器 实例 内 的 工作 单元 


local cons 


当前 连接 到 被 监视 数据 库 管理 器 实例 内 的 数据 库 的 本 地 应 用 程序 数 
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度 量 
local cons in_exec 
con local dbases 
agents registered 
agents waiting on token 
idle agents 


agents from pool 
agents created empty_pool 
agents_stolen 


comm. private_ mem 
inactive_gw_agents 


num_gw_conn_switches 


sort_heap allocated 
post_threshojd sorts 
piped sorts_requested 
piped_sorts_accepted 


度量 


appls_ cur cons 
appls_in db2 
total_sec_cons 
num assoc agents 


sort_heap_allocated 
total sorts 

total sort_time 
sort_overflows 
active_ sorts 

total hash joins 
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续 表 
描 述 
当前 连接 到 被 监视 数据 库 管 理 器 实例 内 的 数据 库 并 正在 处 理工 作 单元 
的 本 地 应 用 程序 数 
与 应 用 程序 相连 接 的 本 地 数据 库 数 
在 被 监视 数据 库 管 理 器 实例 中 注册 的 代理 程序 (协调 程序 代理 程序 和 
子 代理 程序 ) 数 
等 待 令 牌 以 在 数据 库 管 理 器 中 执行 事物 的 代理 程序 数 
代理 程序 池 中 当前 未 分 配给 应 用 程序 ， 因 此 仍 处 于 “空闲 ”状态 的 代 
理 程序 数 
代理 程序 池 中 已 分 配 的 代理 程序 数 
由 于 代理 程序 池 是 空 的 而 创建 的 代理 程序 数 
从 应 用 程序 中 盗用 代理 程序 的 次 数 。 重 新 分 配 与 应 用 程序 相关 联 的 空 
闲 代理 程序 ， 以 便 对 其 他 应 用 程序 执行 操作 ， 称 作 “ 盗 用 ” 
在 快照 时 ， 数 据 库 管 理 器 实例 当前 已 经 提交 的 专用 内 存量 
DRDA 连接 池 中 , 准备 好 与 DRDA 数据 库 的 连接 , 但 尚未 活动 的 DRDA 
代理 程序 数 
代理 程序 池 中 ， 代 理 程序 已 准备 好 连接 但 又 被 其 他 DRDA 数据 库 盗 用 
的 次 数 
拍 快照 时 ， 以 所 选择 的 级 别 为 所 有 排序 分 配 的 排序 堆 空间 的 总 页 数 
达到 排序 堆 阔 值 后 ， 已 请 求 的 堆 的 排序 数 
已 经 请 求 的 管道 排序 数 
已 经 接受 的 管道 排序 数 


表 8-6 DB2 资源 监控 指标 数据库) 
描 述 
当前 已 连接 到 数据 库 的 应 用 程序 数 
当前 已 连接 到 数据 库 并 且 数 据 库 管理 器 当前 正在 处 理 其 请 求 的 应 用 
程序 数 
由 子 代 理 程序 创建 的 到 节点 上 数据 库 的 连接 数 
在 应 用 程序 级 ， 这 是 与 应 用 程序 关联 的 子 代理 程序 数 ， 在 数据 库 级 ， 
它 是 所 有 应 用 程序 的 子 代理 程序 数 
拍 快 照 时 ， 以 所 选择 的 级 别 为 所 有 排序 分 配 的 排序 堆 空间 的 总 页 数 
已 经 执行 的 排序 总 数 
所 有 已 执行 排序 的 总 已 用 时 间 〔 以 毫秒 为 单位 ) 
用 完 排 序 堆 并 且 可 能 需要 临时 磁盘 存储 空间 的 排序 总 数 
数据 库 中 当前 已 经 分 配 了 排序 堆 的 排序 数 
执行 的 哈 希 连接 的 总 数 
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度 
total hash loops 


hash join overflows 


量 


_hash join small_overflows 
pool data ] reads 

pool data p reads 

Dool index | reads 

pool index p _ reads 

_ pool index writes 


pool_read time 


z pool write time 
files closed 
pool async data reads 


pool async data Writes 


pool async index writes 
Pool async index reads 
pool] async _read time 
pool async write time 
pool async data read reqs 


pool lsn gap clns 


pool drty pg_steal_clns 


pool drty pg thrsh clns 
prefetch wait time 
pool date to_estore 
pool index to estore 
pool data from estore 
pool index from estore 
direct reads 

direct writes 


X lock escals 


软件 评测 师 教程 


续 骨 
描述 


| 哈 项 连接 的 单一 分 区 大 于 可 用 的 排序 堆 空 间 的 总 次 数 
哈 希 连接 数据 大 小 超过 可 用 排序 堆 空 间 的 次 数 


| 哈 希 连接 数据 大 小 超过 可 用 排序 堆 空间 , 但 超出 比率 小 于 10% 的 次 数 


已 经 通过 缓冲 池 的 数据 页 逻辑 读 取 请 求 数 
| 要 求 IO 将 数据 页 放 信 组 冲 池 的 读 取 请 求 数 


将 级 冲 池 数据 页 物理 地 写 入 破 盘 的 次 数 

已 经 通过 级 冲 池 的 索引 页 逻辑 读 取 请 求 数 

需要 将 索引 页 放 入 级 冲 池 的 物理 读 取 请 求 数 

将 缓冲 池 中 的 索引 页 物理 地 写 入 磁盘 的 次 数 

处 理 读 取 请 求 〈 使 数据 或 索引 页 从 磁盘 物理 地 读 入 缓冲 池 ) 的 总 已 用 
时 间 

从 缓冲 池 中 将 数据 或 索引 页 物理 地 写 入 磁盘 所 花费 的 总 时 间 

已 关闭 的 数据 库 文件 的 总 数 

异步 读 入 到 级 冲 池 中 的 页 数 

使 用 异步 页 消 理 器 或 预 取 器 ， 将 缓冲 池 索 引 页 物理 地 写 入 磁盘 的 次 
数 。 预 取 器 可 能 已 经 将 脏 页 写 入 磁盘 ， 从 而 为 预 取 页 脸 出 空间 


使 用 异步 页 清理 器 或 预 取 器 ， 将 绥 冲 池 索 引 页 物理 地 写 入 磁盘 的 次 
数 。 预 取 器 可 能 已 经 将 及 页 写 入 磁盘 ， 从 而 为 预 取 页 机 出 空间 


由 预 取 器 异步 读 入 到 级 冲 池 中 的 索引 页 数 
数据 库 管 理 器 预 取 器 花 在 读 取 操作 上 的 总 已 用 时 间 


| 数据 库 管 理 器 页 清理 器 从 级 存 池 中 将 数据 或 索引 页 写 入 磁盘 的 总 已 


用 时 间 
异步 读 取 请 求 数 


由 于 所 用 的 记录 空间 已 经 到 达 数 据 库 的 预定 义 标准 而 调用 页 消 理 器 


| 的 次 数 

| 由 于 在 受 损 级 冲 区 代替 数据 库 期 间 需 要 进行 同步 写 入 而 调用 页 清理 
器 的 次 数 

| 由 于 缓冲 池 已 经 到 达 数 据 库 的 胜 页 阅 值 标准 而 调用 页 消 理 器 的 次 数 

| 应 用 程序 等 待 1O 服务 器 《〈 预 取 器 ) 将 页 加 载 到 缓冲 池 所 花 帆 的 时 间 

| 复制 到 扩展 存储 区 的 绥 冲 池 数 据 页 数 

| 复制 到 扩展 存储 区 的 缓冲 池 索 引 页 数 

| 从 扩展 存储 区 复制 的 绥 冲 池 数 据 页 数 


| 从 扩展 存储 区 复制 的 级 冲 池 索 引 页 数 


不 使 用 绥 冲 池 的 读 取 操作 数 
不 使 用 缓冲 池 的 写 入 操作 数 
从 几 行 锁定 上 升 为 一 个 排他 表格 锁定 的 次 数 , 或 者 一 行 的 排他 锁定 使 


表格 锁定 变 为 排他 锁定 的 次 数 


www.TopSage.com 


度 从 
lock timeouts 
lock walts 
lock wait time 
locks waiting 
rows_deleted 
rows_inserted 
rows_updated 
rows_selected 
int_rows_deleted 
int rows updated 
int rows_ inserted 
static_sql_stmts 
dynamic Sql stmits 
failed sql_stmts 
commit Sql_stmts 
rollback sql stmts 
select sql stmts 
uid sql stmts 
ddi sql_stmits 
int auto_rebinds 
int_commits 
int_rollbacks 


int_deadlock_rollbacks 


binds_ precompiles 


度 重 


agcnts_stolen 


num_assoc_agents 


total sorts 
total_sort_time 
sort_overflows 
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找 述 
锁定 对 象 的 请 求 因 超 时 而 未 能 得 到 满足 的 次 数 
应 用 程序 或 连接 等 待 锁定 的 总 次 数 


| 等 待 锁定 的 总 已 用 时 间 


等 待 锁定 的 代理 程序 数 

试图 删除 行 的 次 数 

试图 插入 行 的 次 数 

试图 更 新 行 的 次 数 

被 选择 并 返回 到 应 用 程序 的 行 数 

作为 内 部 活动 的 结果 从 数据 库 删 除 的 行 数 

作为 内 部 活动 的 结果 从 数据 库 更 新 的 行 数 

作为 由 触发 器 引发 的 内 部 活动 的 结果 插入 到 数据 库 的 行 数 
试图 执行 的 静态 SQL 语句 数 

试图 执行 的 动态 SQL 语句 数 

试图 执行 而 失败 的 SQL 语句 数 

试图 执行 的 SQL COMMIT 语句 的 总 数 

试图 执行 的 SQL ROLLBACK 语句 的 总 数 

已 经 执行 的 SQL SELECT 语句 数 

已 经 执行 的 SQL UPDATE、INSERT 和 DELETE 语句 数 
已 经 执行 的 SQL 数据 定义 语言 (DDL) 语句 数 

试图 执行 的 自动 重新 绑 定 〈 或 重新 编译 ) 数 

由 数据 库 管理 器 在 内 部 启动 的 提交 总 数 

由 数据 库 管 理 器 在 内 部 启动 的 回 滚 总 数 

由 于 死 锁 而 由 数据 库 管 理 器 启动 的 强制 回 深 总 数 。 在 由 数据 库 管 理 器 
所 选择 应 用 程序 的 当前 工作 单元 上 执行 回 滚 以 解 开 死 锁 
试图 执行 的 绑 定 和 预 编 译 数 


表 8-7 DB2 资源 监控 指标 〈 应 用 程序 ) 


描 述 
从 应 用 程序 钦 用 代理 程序 的 次 数 ， 重 新 分 配 与 应 用 程序 相关 联 的 空闲 
代理 程序 ， 以 使 对 其 他 应 用 程序 执行 操作 ， 称 作 “ 次 用” 
在 应 用 程序 级 ， 这 是 与 应 用 程序 关联 的 子 代理 程序 数 ， 在 数据 库 级 ， 
它 是 所 有 应 用 程序 的 子 代 理 程序 数 
已 经 执行 的 排序 总 数 
已 经 执行 所 有 排序 的 总 已 用 时 间 〈 以 总 秒 为 单位 ) 
用 完 排序 堆 并 且 可 能 笑 要 临时 磁盘 存储 空间 的 排序 总 数 
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度 熏 
total hash joins 
total hash loops 
hash join_overilows 
_join_small overflows 
pool data | reads 
pool data p reads 
pool data wnites 
pool index | reads 
pool index p reads 
pool index wnites 
uow log space used 
locks held 
deadlocks 
lock escals 


x lock escals 


lock timeouts 

lock waits 

lock wait time 
locks waiting 

uow lock wait time 
rows_deleted 
rows_ inserted 
rows updated 
rows selected 
rows_wnitten 
rows_ read 

int rows deleted 
_int_ rows_ updated 
int rows_ inserted 


open rem curs_ 


open rem curs_ blk 
Tej curs blk 
acc_ curs blk 
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续 表 
描述 


执行 的 哈 希 连接 的 总 数 


险 希 连接 的 单一 分 区 大 于 可 用 的 排序 堆 空间 的 总 次 数 


哈 希 连接 数据 大 小 超过 可 用 排序 堆 空 间 的 次 数 
哈 希 连接 数据 大 小 超过 可 用 排序 堆 空 间 , 但 超出 比率 小 于 10% 的 次 数 


| 已 经 通过 组 种 池 的 数据 页 远 抢 读 取 许 求 数 


要 求 1O 将 数据 页 放 入 绥 冲 池 的 读 取 请 求 数 
将 组 剖 池 数据 页 物理 地 写 入 磁盘 的 次 数 

已 经 通过 级 神 池 的 索引 页 远 辑 读 取 谢 求 数 
笠 要 将 索引 页 放 入 缓冲 池 的 物理 读 取 说 求 数 


| 将 缓冲 池 中 的 索引 页 物理 地 写 入 磁盘 的 次 数 


被 监视 应 用 程序 的 当前 工作 单元 使 用 的 日 志 空 间 重 以 字 节 为 单位 ) 
当前 保持 的 锁定 数 


| 已 经 发 生 的 死 锁 的 总 数 


从 几 行 锁定 上 升 为 表格 锁定 的 次 数 

从 几 行 锁定 上 升 为 一 个 排他 表格 锁定 的 次 数 或 者 一 行 的 排他 锁定 使 
表格 锁定 变 为 排他 锁定 的 次 数 
锁定 对 象 的 请 求 因 超时 而 未 得 到 满足 的 次 数 

应 用 程序 或 连接 等 待 锁 定 的 总 次 数 


等 待 锁定 的 总 已 用 时 间 


等 待 锁定 的 代理 程序 数 


| 此 工作 单元 等 待 锁定 的 总 已 用 时 间 
| 试图 删除 行 的 次 数 


试图 插入 行 的 次 数 


| 试图 更 新 行 的 次 数 
| 被 选择 并 返回 到 应 用 程序 的 行 数 
| 表格 中 已 经 更 改 〈 插 入 、 删 除 或 更 新 ) 的 行 数 


从 表格 中 读 取 的 行 数 
作为 内 部 活动 的 结果 从 至 据 库 删 除 的 行 数 


作为 内 部 活动 的 结果 从 数据 库 更 新 的 行 数 


作为 由 触发 器 引发 的 内 部 活动 的 结果 插入 到 至 据 库 的 行 至 


| 当前 为 此 应 用 程序 打开 的 远程 光标 数 ， 和 包括 由 “open_rem_curs_blk” 
| 统计 的 那些 光标 
| 当前 为 此 应 用 程序 打开 的 远程 块 状 光标 数 


拒绝 服务 器 上 1O 块 的 请 求 和 将 请 求 转换 成 非 块 的 VO 请 求 的 次 数 


| 接受 1/O 块 请 求 的 次 数 
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度 最 
open loc_curs 


open loc curs_ blk 
static_sql_ stmts 
dynamic_ sql_stmts 
failed sql stmts 
commit sql_stmts 
rollback sql_stmts 
Select sq] stmts 
uid_ sql_stmits 

ddl sql_stmts 
int_auto_rebinds 
int_commits 
int_rollbacks 


int_deadlock_rollbacks 


binds_precompiles 


4. SQL Server 
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续 表 
当前 为 此 应 用 程序 打开 的 本 地 光标 数 ， 包 揪 由 “open_loc_curs_blk” 


统计 的 那些 光标 


当前 为 此 应 用 程序 打开 的 本 地 块 状 光标 数 

试图 执行 的 静态 SQL 语句 数 

试图 执行 的 动态 SQL 语句 数 

试图 执行 而 失败 的 SQL 语句 数 

试图 执行 的 SQL COMMIT 语句 的 总 数 

试图 执行 的 SQL ROLLBACK 语句 的 总 数 

已 经 执行 的 SQL SELECT 语句 数 

已 经 执行 的 SQL UPDATE、INSERT 和 DELETE 语句 数 
已 经 执行 的 SQL 数据 定义 语言 DDL) 语句 数 

试图 执行 的 自动 重新 绑 定 (或 重新 编译 ) 数 

由 数据 库 管 理 器 在 内 部 启动 的 提交 总 数 

由 数据 库 管理 器 在 内 部 启动 的 回 滚 总 数 

由 于 死 锁 而 由 数据 库 管 理 器 启动 的 强制 回 滚 总 数 ， 在 由 数据 库 管理 器 
所 选择 应 用 程序 的 当前 工作 单元 上 执行 回 滚 以 解 开 死 锁 
试图 执行 的 绑 定 和 预 编译 数 


如 表 8-8 所 示 为 SQL Server 资源 监控 指标 。 


度 组 


% Tota] Processor 
Time (NT) 


Cache Hit Ratio 
HO-Batch Wntes/sec 


IO-Lazy Writes/sec 


IO-Outstanding reads 


IO-Outstanding writes 
UVO-Page Reads/sec 


表 8-8 SQL Server 资源 监控 指标 


描 述 
系统 上 所 有 处 理 器 都 忙于 执行 非 空闲 线程 的 时 间 的 平均 百分比 。 在 多 
处 理 器 系统 上 ， 如 果 所 有 处 理 器 始终 繁忙 ， 此 值 是 100%; 如 果 所 有 
处 理 器 是 $0% 繁 忙 ， 此 值 为 50%; 而 如 果 这 些 处 理 器 中 的 1/4 是 100% 
繁忙 的 ， 则 此 值 为 25%， 它 反映 了 用 于 有 用 作业 上 的 时 间 的 比率 。 每 
个 处 理 器 将 分 配给 空闲 进程 中 的 一 个 空闲 线程 ， 以 消耗 所 有 其 他 线程 
都 不 使 用 的 那些 非 生产 性 处 理 器 周期 
在 数据 缓存 中 找到 (而 不 是 从 磁盘 读 取 〉 所 请 求 数据 页 的 时 间 百 分 比 
使 用 Batch 1O， 每 秘 写 入 磁盘 的 页 数 ( 以 2k 页 为 单位 》 Batch LO 主 
要 用 于 检查 点 线程 
每 秒 由 Lazy Writer 刷新 到 磁 稚 的 页 数 〈 以 2k 页 为 单位 ) 
挂 起 的 物理 读 取 数 
挂 起 的 物理 写 入 数 
每 秒 物理 页 读 取 数 
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度 量 描 述 
IL/O-Transactions/sec 每 秒 执行 的 Transact-SQL 命令 批 处 理 数 
User Connections | 打开 的 用 户 连续 数 


处 理 器 执行 非 空闲 线程 的 时 间 百 分 比 。 此 计数 器 设计 为 处 理 器 活动 的 
一 个 主要 指示 器 。 它 是 通过 测 熏 处 理 器 在 每 个 采样 间隔 中 执行 空闲 进 
程 的 线程 所 花费 的 时 间 ， 然 后 从 100% 中 减 去 此 时 间 值 来 进行 计算 的 

六 Processor Time (Win 2000) | 儿 (每 个 处 理 器 都 有 一 个 空闲 线程 , 它 在 没有 其 他 线程 准备 运行 时 消耗 处 
理 占 周期 )。 它 可 以 反映 有 用 作业 占用 的 采样 间隔 的 百分比 , 此 计数 器 
| 显示 在 示例 采样 期 间 所 观察 的 繁忙 时 间 的 平均 百分比 。 它 是 通过 监视 
1 服务 处 于 非 活 动 状态 的 时 间 ， 然 后 从 100% 中 减 去 此 值 来 计算 的 


针对 数据 库 系 统 的 监控 ， 如 果 我 们 需要 监控 共享 内 存 缓冲 区 、 会 话 、 磁 盘 等 方面 的 
内 容 ， 下 面 给 出 了 相关 的 一 些 监 控 建 议 。 

。 监控 超出 共享 内 存 缓冲 区 的 操作 数 。 

监控 超出 共享 内 存 缓冲 区 的 操作 数 ， 按 照 这 个 基准 ， 我 们 可 以 对 缓冲 区 进行 额外 的 
调整 ， 以 便 更 好 地 支持 实际 系统 的 运行 需要 ， 提 高 用 户 生产 效率 。 

。 扩展 的 会 话 /用 户 检查 以 及 参数 控制 。 

利用 扩展 的 会 话 /用 户 检查 以 及 参数 控制 功能 ， 向 我 们 发 出 警报 ， 帮 助 我 们 发 现 过 多 
的 不 合理 顺序 扫描 操作 。 根 据 这 些 信息 ， 我 们 可 以 分 配 附 加 的 资源 ， 或 者 要 求 修改 其 应 
用 程序 ， 以 降低 对 系统 资源 的 要 求 。 我 们 可 以 制定 更 精确 的 资源 容量 计划 ， 以 便 实现 现 
在 和 将 来 的 业务 运行 需要 。 

。 磁盘 。 

监控 磁盘 的 数据 块 使 用 情况 以 及 被 频繁 读 写 的 热点 区 域 。 通 过 这 些 信 息 我 们 可 以 较 
容易 地 平衡 在 磁盘 上 数据 量 的 存储 分 配 以 及 磁盘 的 IO 分 配 ， 有 效 地 帮助 我 们 作 好 磁盘 
容量 规划 ， 并 在 当前 的 磁盘 设备 上 有 效 地 提高 数据 的 读 写 效率 。 


8.3.4 ”Web 服务 器 监控 


1l. Apache 
如 表 8-9 所 示 为 Apache 资源 监控 指标 。 


表 8-9 Apache 资源 监控 指标 


度 是 描述 
# Busy Servers | 处 于 繁 伦 状态 的 服务 器 数 
# Idle Servers 处 于 空闲 状态 的 服务 器 数 
Apache CPU usage | Apache 服务 器 利用 CPU 的 时 间 百 分 比 
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度 是 描述 
Hits/sec | HTTP 请 求 速率 
Kbytes Sent/sec 从 Web 服务 器 发 送 数据 字 节 的 速 罕 
2. IIS 
如 表 8-10 所 示 为 11S 资源 监控 指标 。 
表 8-10 11S 资源 监控 指标 
对 象 描述 
Web Service Web Service 发 送 数 据 字 节 的 速率 
Web Service Web Service 接收 数据 字 节 的 速率 
a | en 使 用 GET 方法 进行 HTTP 请 求 的 速率 。 尽管 GET 请 求 
A 可 以 用 于 窗 体 ， 但 通常 用 于 基本 文件 检索 或 图 像 映射 
ep 使 用 POST 方法 进行 HTTP 请 求 的 速率 。POST 请 求 通 
e erVvice ost equest SeC 常 用 于 窗 体 或 网 关 请 求 
Web Service 同时 与 Web Service 建立 的 最 大 连接 数 


Web Service 当前 与 Web Service 建立 的 连接 数 
Web Service 当前 使 用 Web Service 非 匿 名 连接 的 用 户 数 
由 于 找 不 到 请 求 的 文档 ， 服 务 器 不 能 满足 请 求 而 出 现 


Web Service |Not Found Errors/sec 的 错误 率 ， 这 些 通 常 作 为 HTTP 404 错误 代码 报告 到 客 
户 端 
Process 已 经 由 进程 分 配 但 无 法 与 其 他 进程 共识 的 当前 字 节 数 
8.3.5 ”中 间 件 服务 器 监控 
1. TUXEDO 


如 表 8-11 所 示 为 TUXEDO 资源 监控 指标 。 
明 8-11 TUXEDO 资源 监控 指标 


监 视 器 度量 及 描述 
Requests per second: 每 秒 钟 处 理 的 服务 器 请 求 数 
服务 中 Workload per second: 该 工作 负荷 是 服务 器 请 求 的 加 权 度 量 。 某 些 请 求 可 能 与 其 他 请 


求 有 不 同 的 权重 。 在 默认 情况 下 ， 工 作 负 荷 总 是 请 求 数 的 50 倍 

Workload completed per second: 计算 机 所 有 服务 器 每 单位 时 间 完 成 的 总 工作 负荷 
计算 机 Workload initiated per second: 计算 机 所 有 服务 器 每 单位 时 间 开 始 的 总 工作 负荷 

Current Accessers: 当前 如 接 在 该 计算 机 上 访问 应 用 程序 或 通过 该 计算 机 上 的 工作 站 

处 理 程 序 访问 应 用 程序 的 客户 端 和 服务 器 数 
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监视 器 | 度量 及 描述 

计算 机 | Current Clients: 当前 登录 到 该 计算 机 的 客户 端 数 ， 包 括 本 地 计算 机 和 工作 站 
| Current Transactions: 该 计算 机 上 正在 使 用 的 事务 表 项 目 数 

队列 Bytes on queue: 正在 队列 中 等 待 的 所 有 请 息 的 总 字 节 数 


| Messages on queue: 队列 中 正在 等 待 的 总 请 求 数 。 默 认 情 况 为 0 
Bytes received per second: 工作 站 处 理 程序 每 单位 时 间接 收 到 的 总 字 节 数 
Bytes sent per second: 工作 站 处 理 程 序 每 单位 时 间 发 送 回 客户 端的 总 字 节 数 
工作 站 处 理 | Messages received per second: 工作 站 处 理 程序 每 单位 时 间接 收 到 的 消息 数 
程序 (WSH) | Messages sent per second: 工作 站 处 理 程序 每 单位 时 间 发 送 回 客户 端的 消息 数 
Number of queue blocks per second， 工作 站 处 理 程序 每 单位 时 间 阻 止 队列 的 次 数 。 通 
| 过 它 可 以 了 解 工作 站 处 理 程序 过 载 的 频率 


2. WebSphere 
如 表 8-12 与 表 8-13 所 示 为 WebSphere 资源 监控 指标 。 


上 8-12 WebSphere 资源 监控 指标 (队列 性 能 计数 器 ) 


度 二 | 描 述 
Event-Queue Depth High (events per second) | 队列 深度 达到 配置 的 最 大 深度 时 触发 的 事件 
Event-Queue Depth Low (events per second) | 队列 深度 达到 配置 的 最 小 将 度 时 触发 的 事件 
Event-Queue Full (events per second) | 试图 将 消息 放 到 已 满 的 队列 时 触发 的 事件 


; 、 在 超时 间 值 内 没有 衣 且 放 到 队列 或 者 没有 从 队 
Event-Queue Service Interval High (events per second) 列 检索 到 消息 时 触发 的 事件 


: Ln : jt 2 
Event-Queue Service Interval OK (events per second) | et 或 者 已 经 从 队 


本 地 队列 上 的 当前 消息 计数 ， 该 度量 只 适用 于 


mC Depih | 监视 队列 管理 器 的 本 地 队列 

| 打开 的 输入 句柄 的 当前 计数 。 将 打开 输入 句柄， 
EAP 以 使 应 用 程序 可 以 将 消息 “ 放 到 ”队列 
/ ee 打开 的 输出 句柄 的 当前 计数 , 将 打开 输出 句柄 ， 
ST | BE 应 用 程序 可 以 从 队列 中 “获得 ”消息 


阴 8-13 WebSphere 资源 监控 指标 (通道 性 能 计数 髓 ) 


度 重 | 描 述 
Event-Channel Activated ”| 当 正 等 待 激活 ， 但 却 由 于 缺少 队列 管理 器 通道 持 柏 而 不 能 激活 的 通道 ， 
(events per second) 在 由 于 究 然 可 以 使 用 通道 插 档 而 激活 时 生成 的 事件 


Event-Channel Not Activated | 当 通 道 试 图 激活 , 但 却 由 于 缺少 队列 管理 器 通道 插 档 而 不 能 激活 时 生成 
(events per second) | 的 事件 
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续 表 
度量 描 述 
Event-Channel Started 启动 通道 时 生成 的 事件 
(events per Second) 
Event-Channel Stopped 停止 通道 (无 论 停 止 源 如 何 ) 时 生成 的 事件 
(events per second) 


Event-Channel Stopped by 由 用 户 停止 通道 时 生成 的 班 件 


User (events per Second) 

ee 通道 的 当前 状态 。 通道 从 停止 ( 韭 活动 状态 ) 到 运行 《完全 活动 状态 ) 
经 过 数 个 状态 。 通 道 状态 范围 从 0 (停止 ) ~6 (运行) 

已 在 通道 上 发 送 的 消息 的 计数 。 如 果 在 通道 上 没有 发 生 通信 ， 则 该 度量 

将 是 0， 如 果 队 列 管理 器 启动 后 没有 启动 该 通道 ， 则 度 二 不 可 用 

已 在 通道 上 接收 的 级 冲 区 的 计数 ， 如 果 在 通道 上 没有 发 生 通 信 ， 则 该 度 

重 将 是 0， 如 果 队 列 管理 次 启 动 后 没有 启动 该 通道 ， 则 度量 不 可 用 

已 在 通道 上 发 送 的 缓冲 区 的 计数 ， 如 果 在 通道 上 没有 发 生 通 信 ， 则 该 度 

重 将 是 0， 如 果 队 列 管理 器 启动 后 没有 启动 该 通道 ， 则 度量 不 可 用 

已 在 通道 上 接收 的 字 节 的 计数 ， 如 果 在 通道 上 没有 发 生 通信 ， 则 该 度量 

将 是 0;， 如果 队列 管理 器 启动 后 没有 启动 该 通道 ， 则 度量 不 可 用 

已 在 通道 上 发 送 的 字 节 的 计数 。 如 果 在 通道 上 没有 发 生 通 信 ， 则 该 度量 

将 是 0， 如 果 队 列 管理 器 启动 后 没有 启动 该 通道 ， 则 度量 不 可 用 


Status-Messages Transferred 
Status-Buffer Received 
Status-Buffer Sent 
Status-Bytes Received 


Status-Bytes Sent 


3. WebLogic 
如 表 8-14 与 表 8-15 所 示 为 WebLogic 资源 监控 指标 。 


表 8-14 ” WebLogic 资源 监控 指标 (LogBaroadcasterRuntime) 


度 最 描 述 
MessagesLogged 该 WebLogic 服务 器 实例 生成 的 日 志 消 息 总 数 
Registered 如 果 已 取消 注册 该 对 象 表 示 的 Mbean， 2 有 “False” 
CachingDisabied 禁用 代理 中 的 缓存 的 专用 属性 

表 8-15 WebLogic 资源 监控 指标 (ServerSecurityRuntime) 

度 量 描 述 
UnlockedUsersTotalCount 返回 在 服务 器 .上 取消 锁定 用 户 的 次 数 
InvalidLoginUsersHighCount 返回 其 有 显著 的 无 效 服 务 器 登录 尝试 的 用 户 的 最 大 数目 
LoginAttemptsWhilelockedTotalCount | 返回 锁定 用 户 时 尝试 对 服务 器 进行 的 无 效 登录 的 累计 次 数 
Registered 如 果 已 取消 注册 该 对 象 表示 的 Mbean， 则 返回 “False” 
LockedUsersCurrentCount 返回 服务 器 .上 当前 锁定 的 用 户 数 
CachingDisabled 禁用 代理 中 的 缓存 的 专用 届 性 
InvalidLoginAttemptsTotalCount 返回 对 服务 器 进行 的 无 效 登录 尝试 的 累计 次 数 
UserLockoutTotalCount 返回 在 服务 器 上 进行 的 用 户 锁定 的 累计 次 数 
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8.4 负载 压力 测试 实施 
8.4.1 负载 压力 测试 实施 步骤 


我 们 将 负载 压力 测试 实施 步骤 概括 如 下 : 

测试 计划 一 测试 需求 分 析 一 测试 案例 制定 一 测试 环境 、 工 具 、 数 据 准 备 一 测试 脚本 
录制 、 编 写 与 调试 一 场景 制定 一 测试 执行 一 获取 测试 结果 一 结果 评估 与 测试 报告 。 

下 面 将 详细 论述 各 部 分 的 内 容 。 
8.4.2 测试 计划 


制定 一 个 全 面 的 测试 计划 是 负载 测试 成 功 的 关键 。 定 义 明 确 的 测试 计划 将 确保 制定 
的 方案 能 完成 负载 测试 目标 。 这 部 分 内 容 描述 负载 测试 计划 过 程 ， 包 括 分 析 应 用 程序 、 
定义 测试 目标 、 计 划 方 案 实施 、 检 查 测试 目标 。 在 任何 类 型 的 系统 测试 中 ， 制 定 完善 的 
测试 计划 是 成 功 完成 测试 的 基础 。 负 载 压 力 测试 计划 有 助 于 ; 

@ 构建 能 够 精确 地 模拟 工作 环境 的 测试 方案 。 负 载 测试 指 在 典型 的 工作 条 件 下 测 
试 应 用 程序 ， 并 检测 系统 的 性 能 、 可 靠 性 和 容量 等 。 

@ 了 解 测试 需要 的 资源 。 应 用 程序 测试 需要 硬件 、 软 件 和 人 力 资源 。 开 始 测试 之 
前 ， 应 了 解 哪些 资源 可 用 并 确定 如 何 有 效 地 使 用 这 些 资 源 。 

@ 以 可 度量 的 指标 定义 测试 成 功 条 件 。 明 确 的 测试 目标 和 标准 有 助 于 确保 测试 成 
功 。 仅 定义 模糊 的 目标 〈 如 检测 重负 载 情况 下 的 服务 器 响应 时 间 ) 是 不 够 的 。 明 确 的 成 
功 条 件 应 类 似 于 “50 个 客户 能 够 同时 查看 他 们 的 账户 余额 ， 并 且 服 务 器 响应 时 间 不 超过 
1 分 钟 ”。 

下 面 详细 论述 负载 压力 测试 计划 过 程 的 4 个 步 对 

1. 分析 应 用 程序 

负载 测试 计划 的 第 一 步 是 分 析 应 用 程序 。 应 该 对 硬件 和 软件 组 件 、 系 统 配置 以 及 典 
型 的 使 用 模型 有 一 个 透彻 的 了 解 。 应 用 程序 分 析 可 以 确保 使 用 的 测试 环境 能 够 在 测试 中 
精确 地 反映 应 用 程序 的 环境 和 配置 。 

(1) 确定 系统 组 件 

绘制 一 份 应 用 程序 结构 示意 图 。 如 果 可 能 ， 从 现 有 文档 中 提取 一 份 示意 图 。 如 果 要 
测试 的 应 用 程序 是 一 个 较 大 的 网 络 系统 的 一 部 分 ， 应 该 确定 要 测试 的 系统 组 件 。 确 保 该 
示意 图 包括 了 所 有 的 系统 组 件 ， 例 如 客户 机 、 网 络 、 中 间 件 和 服务 器 等 。 

如 图 8-16 所 示 说 明了 一 个 由 许多 Web 用 户 访问 的 联机 银行 系统 。 各 Web 用 户 连 接 
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到 同一 数据 库 以 转移 现金 和 支票 余额 。 客 户 使 用 不 同 的 浏览 器 ,通过 Web 方式 连接 到 数 


> i 


用 程序 客户 站 


Web 服务 器 数据 库 服务 器 


a 


图 8-16 ”联机 银行 系统 应 用 布 署 


(2) 描述 系统 配置 
增加 更 多 详细 信息 以 完善 示意 图 。 描 述 各 系统 组 件 的 配置 。 应 当 尝 握 以 下 信息 : 
。 连接 到 系统 的 用 户 数 ; 
。 ”应 用 程序 客户 端 计算 机 的 配置 情况 (硬件 、 内 存 、 操作 系统 、 软 件 、 开 发 工具 等 ); 
。 ”使 用 的 数据 库 和 Web 服务 器 的 类 型 (硬件 、 数 据 库 类 型 、 操 作 系 统 、 文 件 服务 
器 等 ); 
服务 器 与 应 用 程序 客户 端 之 间 的 通信 方式 ; 
前 端 客户 端 与 后 端 服务 器 之 间 的 中 间 件 配置 和 应 用 程序 服务 器 ; 
可 能 影响 响应 时 间 的 其 他 网 络 组 件 〈 调 制 解 调 器 等 ); 
通信 设备 的 吞吐 量 以 及 每 个 设备 可 以 处 理 的 并 发 用 户 数 。 
例如 ， 在 如 图 8-16 所 示 的 示意 图 中 ， 多 个 应 用 程序 客户 端 在 访问 系统 。 客 户 端的 配 
置 如 表 8-16 所 示 。 


表 8-16 ”客户 端 配 置 内 容 


前 端 客户 端 配置 

连接 到 系统 的 应 用 程序 客户 端的 数 址 50 个 并 发 应 用 程序 客户 端 
硬件 /内 存 586/32MB 

操作 系统 及 其 版 本 Windows NT 4.0 

客户 端 浏 览 器 Internet Explorer 4.0 
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(3) 分 析 使 用 模型 

定义 系统 的 典型 使 用 方式 ， 并 确定 需要 重点 测试 的 功能 。 考 虑 哪些 用 户 使 用 系统 、 
每 种 类 型 用 户 的 数量 ， 以 及 每 个 用 户 的 典型 任务 。 此 外 ， 还 应 考虑 任何 可 能 影响 系统 响 
应 时 间 的 后 台 负 载 。 

例如 ， 假 设 每 天 上 午 有 200 名 员工 登录 记 账 系统 ， 并 且 该 办 公 室 网 络 有 固定 的 后 台 
负载 : $0 名 用 户 执行 各 种 字 处 理 和 打印 任务 。 可 以 创建 一 个 200 个 虚拟 用 户 登 录 访 问 记 
账 数 据 库 的 方案 ， 并 检测 服务 器 的 响应 时 间 。 要 了 解 后 台 负 载 对 响应 时 间 的 影响 ， 可 以 
在 运行 方案 的 网 络 中 再 模拟 员工 执行 字 处 理 和 打印 活动 的 负载 。 

(4) 任务 分 布 

除 定义 常规 用 户 任 务 外 ， 还 应 该 查看 这 些 任务 的 分 布 情况 。 例如 ， 假设 银行 用 户 使 
用 一 个 中 央 数 据 库 为 跨越 多 个 州 和 时 区 的 客户 提供 服务 。250 个 应 用 程序 客户 端 分 布 在 
两 个 不 同 的 时 区 ， 全 都 连接 到 同一 个 Web 服务 器 中 。 其 中 150 个 在 芝加哥 ， 另 外 100 个 
在 底特律 。 每 个 客户 端 从 上 午 9 点 开始 工作 ， 但 由 于 处 于 不 同 的 时 区 ， 因 此 在 任何 特定 
时 间 内 都 不 会 有 超过 150 个 的 用 户 同时 登录 。 可 以 分 析 任务 分 布 ， 以 确定 数据 库 活动 峰 
值 期 的 发 生 时 间 ， 以 及 负载 峰值 期 间 的 典型 活动 。 

2. 定义 测试 目标 

开始 测试 之 前 ， 应 精确 地 定义 想 要 实现 的 目标 。 

(1) 以 可 度量 的 指标 制定 目标 

确定 了 负载 测试 的 一 般 性 目标 后 ， 应 该 以 可 度量 指标 制定 更 具 针对 性 的 目标 。 为 了 
提供 评估 基准 ， 应 精确 地 确定 、 区 分 可 接受 和 不 可 接受 测试 结果 的 标准 。 

例如 ; 

。 一 般 性 目标 产品 评估 : 选择 Web 服务 器 的 硬件 。 

e 明确 目标 产品 评估 : 在 一 台 HP 服务 器 和 一 台 NEC 服务 器 上 运行 同一 个 包含 

300 个 虚拟 用 户 的 组 。 当 300 个 用 户 同时 浏览 Web 应 用 程序 页 面 时 ， 确 定 哪 一 
种 硬件 提供 更 短 的 响应 时 间 。 

e。 测试 目标 

Q@ 度量 最 终 用 户 的 响应 时 间 ， 完 成 一 个 业务 流程 需要 多 长 时 间 ， 

@ 定义 最 优 的 硬件 配置 ， 哪 一 种 硬件 配置 可 以 提供 最 佳 性 能 ; 

@ 检查 可 靠 性 ， 系 统 无 错误 或 无 故障 运行 的 时 间 长 度 或 难度 ; 

@ 查看 硬件 或 软件 升级 对 性 能 或 可 靠 性 有 何 影响 ; 

@ 评估 新 产品 ， 应 选择 哪些 服务 器 硬件 或 软件 ; 

度量 系统 容量 ， 在 没有 显著 性 能 下 降 的 前 提 下 ， 系 统 能 够 处 理 多 大 的 负载 ， 

@ 确定 瓶颈 ， 哪 些 因素 会 延长 响应 时 间 。 
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(2) 确定 测试 的 时 间 / 
负载 测试 应 贯穿 于 产品 的 整个 生命 周期 。 如 表 8-17 说 明了 在 产品 生命 周期 的 各 个 阶 
段 有 哪些 类 型 的 测试 与 之 相关 。 


表 8-17 产品 生命 周期 与 测试 类 型 
计划 和 设计 | 开 发 | 部 时 | 生 产 | 升 级 
评估 新 产品 检测 硬件 或 软件 升级 
度量 响应 时 间 度 基 系统 容量 
度 重 系统 容 二 | | 
检查 可 党 性 ee 


3. 计划 方案 实施 

下 一 步 是 确定 如 何 实现 测试 目标 。 

(1) 定义 性 能 度量 的 范围 

可 以 度量 应 用 程序 中 不 同 点 的 响应 时 间 。 根 据 测试 目标 确定 在 哪里 运行 Vuser (点 
拟 用 户 ) 以 及 运行 哪些 Vuser。 

。 度量 端 到 端的 响应 时 间 。 

可 以 在 前 端 运行 GUI Vuser (图 形 用 户 界面 用 户 ) 或 RTE Vuser (终端 用 户 ) 米 度量 
典型 用 户 的 响应 时 间 。GUI Vuser 可 以 将 输入 提交 给 客户 端 应 用 程序 并 从 该 应 用 程序 接 
收 输出 ， 以 模拟 实际 用 户 ; RTE Vuser 则 向 基于 字符 的 应 用 程序 提交 输入 ， 并 从 该 应 用 
程序 接收 输出 ， 以 模拟 实际 用 户 。 

可 以 在 前 端 运行 GUI 或 RTE Vuser 来 度量 跨越 整个 网 络 〈 包 括 终端 仿真 器 或 GUI 
前 端 、 网 络 和 服务 器 ) 的 响应 时 间 。 如 图 8-17 所 示 为 端 到 端的 响应 时 间 。 


户 端 中 间 件 


图 8-17 ” 端 到 端的 啊 应 时 间 


e 度量 网 络 和 服务 器 响应 时 间 。 

可 以 通过 在 客户 机 运行 Vuser ( 非 GUIL 或 RTE Vuser) 来 度量 网 络 和 服务 器 的 响应 
时 间 (不 包括 GUI 前 端的 响应 时 间 )。Vuser 模拟 客户 端 对 服务 器 的 进程 调用 ， 但 不 包括 
用 户 漠 面部 分 。 在 客户 机 运行 大 晤 Vuser 时 ， 可 以 度量 负载 对 网 络 和 服务 器 响应 时 间 的 
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影响 。 如 图 8-18 所 示 为 网 络 和 服务 器 的 响应 时 间 。 


客户 端 中 间 件 


图 8-18 网络 和 服务 器 的 响应 时 间 


e。 度量 GUI 响应 时 间 。 
可 以 通过 减 去 前 两 个 度量 值 ， 米 确定 客户 端 应 用 程序 界面 对 响应 时 间 的 影响 。GUI 
响应 时 间 = 端 到 端 响应 时 间 - 网 络 和 服务 器 响应 时 间 。 如 图 8-19 所 示 为 GUI 响应 时 间 。 


客户 端 中 间 件 
图 8-19 GUI 响应 时 间 


。 度量 服务 器 啊 应 时 间 。 
可 以 度量 服务 器 响应 请 求 〈 不 跨越 整个 网 络 ) 所 花费 的 时 间 。 通过 在 与 服务 器 直接 
相连 的 计算 机 上 运行 Vuser， 可 以 度 呈 服务 器 性 能 。 如 图 8-20 所 示 为 服务 器 响应 时 间 。 


客户 端 中 间 件 服务 器 
图 8-20 ”服务 器 响应 时 间 


。 度量 中 间 件 到 服务 器 的 响应 时 间 。 

如 果 可 以 访问 中 间 件 及 其 API， 便 可 以 度量 服务 器 到 中 间 件 的 啊 应 时 间 。 可 以 使 用 
中 间 件 API 创建 Vuser， 来 度量 中 间 件 到 服务 器 的 性 能 。 如 图 8-21 所 示 为 中 间 件 到 服务 
器 响应 时 间 。 

(2) 定义 Vuser 活动 

根据 对 Vuser 类 型 的 分 析 以 及 它们 的 典型 任务 和 测试 目标 来 创建 Vuser 脚本 。 由 于 
Vuser 模拟 典型 最 终 用 户 的 操作 ， 因 此 Vuser 脚本 应 包括 典型 的 最 终 用 户 任务 。 例 如 ， 要 
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客户 端 中 间 件 服务 器 
图 8-21 中 间 件 到 服务 器 响应 时 间 


模拟 联机 银行 客户 端 ， 应 该 创建 一 个 执行 典型 银行 任务 的 Vuser 脚本 。 入 要 浏览 经 肖 访 
问 的 页 面 ， 以 转移 现金 或 支票 余额 。 

根据 测试 目标 确定 要 衡 贡 的 任务 ， 并 定义 这 些 任务 的 事务 。 这 些 事务 度量 服务 器 响 
应 Vuser 提交 的 任务 所 花费 的 时 间 〈 端 到 端 时 间 )。 例 如 ， 要 查看 提供 账户 余额 查询 的 银 
行 Web 服务 器 的 响应 时 间 ， 则 应 在 Vuser 脚本 中 为 该 任务 定义 一 个 事务 。 

此 外 ， 可 以 通过 在 脚本 中 使 用 集合 点 来 模拟 峰值 期 活动 。 集 合 点 指示 多 个 Vuser 在 
同一 时 刻 执行 任务 。 例 如 ， 可 以 定义 一 个 集合 点 ， 以 模拟 70 个 用 户 同时 更 新 账户 信息 的 
情况 。 

(3) 选择 Vuser 

确定 用 于 测试 的 硬件 配置 之 前 ， 应 该 先 确定 霸 要 的 Vuser 的 数量 和 类 型 。 要 确定 运 
行 多 少 个 Vuser 和 哪些 类 型 的 Vuser, 请 综合 考虑 测试 目标 米 查看 典型 的 使 用 模型 。 以 下 
是 一 些 一 般 性 规则 ; 

。 使 用 一 个 或 几 个 GUI 用 户 来 模拟 每 一 种 类 型 的 典型 用 户 连 接 ; 

。 使 用 RTE Vuser 来 模拟 终端 用 户 ; 

。 运行 多 个 非 GUI 或 非 RTE Vuser 米 生成 每 个 用 户 类 型 的 其 余 负载 。 

例如 , 假设 有 五 种 类 型 的 用 户 , 每 种 用 户 执 行 一 个 不 同 的 业务 流程 , 如 表 8-18 所 示 。 


家 8-18 Vuser 的 数量 和 类 型 


使 用 模型 Gul | RIE | 其 他 
100 个 客户 服务 用 户 在 纽约 CLAN 连接 ) [二 98 
30 个 客户 在 欧洲 〈ISDN 拨号 连接 ) es | 28 
5 个 后 台 批 处 理 进程 -| -| 5 
150 个 客户 (终端 连接 ) z -| mm | - 
6 名 管理 人 员 ( 两 个 用 户 使 用 486 PC，4 个 用 | 4 
户 使 用 586 PC) 1 (586 PC) 


(4) 选择 测试 硬件 和 软件 
硬件 和 软件 应 该 具有 强大 的 性 能 和 足够 快 的 运行 速度 ， 以 模拟 所 需 数量 的 虚拟 用 户 。 
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在 确定 计算 机 的 数量 和 正确 的 配置 时 ， 请 考虑 以 下 事项 。 
se 建议 在 一 台 单 独 的 计算 机 上 运行 测试 工具 主 控 台 。 
a 一 台 Windows 计算 机 只 能 运行 一 个 GUI Vuser: 而 在 一 台 UNIX 计算 机 上 则 
可 以 运行 几 个 GUI Vuser。 
。 GUI Vuser 测试 计算 机 的 配置 应 该 尽量 与 实际 用 户 的 计算 机 配置 相同 。 
关于 每 个 测试 组 件 的 硬件 要 求 ， 请 参考 表 8-19 和 表 8-20。 要 获得 最 佳 性 能 ， 应 满足 
表 中 所 列 要 求 。 


表 8-19 ”测试 机 硬件 与 软件 要 求 (Windows 配置 要 求 ) ， 


要 求 共有 人 本 虚拟 Vuser 生成 器 | 虚拟 用 户 Analysls 模块 
|Controller 

计算 机 / |Pentium 350 MHz 或 |Pentium 350 MHz 或 |Pentium 1GHz 或 Pentium 350 MHz 或 

处 理 器 _| 更 滔 疾 率 的 处 理 器 | 更 两 频率 的 处 理 器 | 更 高 频率 的 处 理 器 。 “| 更 高 频率 的 处 理 器 


操作 系统 Windows NT@SP 6a |Windows NT®SP |Windows NT®SP Windows NT®SP 6a 
6a 或 更 高 版 本 或 更 高 版 本 


Windows 2000 Windows 2000 Windows 2000 


Windows XP Windows XP 
HP UX11.x 或 更 高 版 本 

Solarls 2.6 或 更 高 版 本 

|AIX 4.3.3 或 更 高 版 本 


Linux Red Hat 6.0 或 更 
| | | 高 版 本 
内 存 | i 大 内 对 非 多 线程 Vuser， 120 MB 或 更 大 内 存 
至 少 1 MB RAM; 
对 多 线程 Vuser 
至 少 512 KB RAM 


交换 空间 ” ”| 总 物理 内 存 的 两 信 | 总 物理 内 存 的 两 倍 | 总 物理 内 存 的 两 倍 ” | 总 物理 内 存 的 两 倍 


可 用 硬盘 空间 至 少 500 MB 

浏览 器 JIE 5.x 或 更 高 版 本 |IE 5.x 或 更 商 版 本 ”|N/A IE 5.x 或 更 高 版 本 
Netscape Netscape INetscape 
INavlgator 4.x、 6.x INavlpator 4.x、 6.x [INavlgator 4,.x、6,.x 


注意 :对 于 一 个 要 运行 许多 事务 的 长 方案 ， 结 果 文 件 需 要 几 个 MB 的 磁盘 空间 。 负 
载 生成 器 计算 机 还 需要 几 个 MB 的 磁盘 空间 来 存储 临时 文件 ( 如 果 没 有 NFS )。 有关 运 
行 时 文件 存储 的 详细 信息 ， 请 参阅 第 10 章 “配置 方案 ”。 
有 关 服 新 的 安装 要 求 ， 请 访问 
http:/www.mercuryinteractive.conyproducts/loadmunnemwtechnical/ 
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家 8-20 ”测试 机 硬件 与 软件 要 求 (UNIX 配置 要 求 ) 


要 求 Vuser (每 用 户 ) Web Vuser (每 用 户 ) 
应 用 程序 要 求 决 于 应 用 程序 ) 
交换 空间 总 物理 内 存 的 两 倍 
磁盘 空间 N/A 
进程 数 NE 
参与 方 数量 N/A N/A 


1 个 CPU 支持 的 用 户 数量 300 一 400 或 更 多 


注意 ; 对 于 一 个 要 运行 许多 事务 的 长 方案 ， 结 果 文 件 需 要 几 个 MB 的 磁盘 空间 。 负 
载 生 成 器 计算 机 还 需要 几 个 MB 的 磁盘 空间 来 存储 临时 文件 ( 如 果 没 有 NFS )。 有 关 运 
行 时 文件 存储 的 详细 信息 ， 请 参阅 第 10 章 “ 配 置 方 案 ”。 

4. 检查 测试 目标 

测试 计划 应 该 基于 明确 定义 的 测试 目标 。 下 面 概述 了 常规 的 测试 目标 。 

(5D 度量 最 终 用 户 响应 时 间 。 

@ 定义 最 优 的 硬件 配置 。 

3) 检查 可 靠 性 。 

() 查看 硬件 或 软件 升级 。 

@@ 评估 新 产品 。 

@ 确定 瓶颈 。 

@ 度量 系统 容量 。 

(1) 度量 最 终 用 户 响 应 时 间 

查看 用 户 执行 业务 流程 以 及 从 服务 器 得 到 响应 所 花费 的 时 间 。 例如 , 假设 想 要 检测 ， 
系统 在 正常 的 负载 情况 下 运行 时 ， 最 终 用 户 能 否 在 20 秒 内 得 到 所 有 请 求 的 响应 。 如 
图 8-22 显示 了 一 个 银行 应 用 程序 的 负载 和 响应 时 间 度 量 之 间 的 关系 。 

(2) 定义 最 优 的 硬件 配置 z 

检测 各 项 系统 配置 (内存 、CPU 速度、 缓存、 适配器、 调制 解 调 器 ) 对 性 能 的 影响 。 
了 解 系统 体系 结构 并 测试 了 应 用 程序 响应 时 间 后 ， 可 以 度量 不 同系 统 配置 下 的 应 用 程序 
啊 应 时 间 ， 从 而 确定 哪 一 种 设置 能 够 提供 理想 的 性 能 级 别 。 

例如 ， 可 以 设置 三 种 不 同 的 服务 器 配置 ， 并 针对 各 个 配置 运行 相同 的 测试， 以 确定 
性 能 上 的 差异 。 : l 

。 配置 1: 200MHz、64MB RAM。 

。 配置 2: 200MHz、128MB RAM。 

。 配置 3; 266MHz、128MB RAM。 
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80 
Check account 

Response a information 
Time 40 
(seconds) 20 Login 

0 10 20 30 40 0 

Number of Users 
图 8-22 ”负载 和 哆 应 时 间 度 最 关系 
(3) 检查 可 第 性 


确定 系统 在 连续 的 商工 作 负载 下 的 稳定 性 级 别 。 可 以 创建 系统 负载 : 强制 系统 在 短 
时 间 内 处 理 大 量 任务 ， 来 模拟 系统 在 数 周 或 数 月 的 时 间 内 通常 会 遇 到 的 活动 类 型 。 

(4) 查看 硬件 或 软件 升级 

执行 回归 测试 ， 以 便 对 新 旧版 本 的 硬件 或 软件 进行 比较 。 可 以 查看 软件 或 硬件 升级 
对 响应 时 间 〈 基 准 ) 和 可 舒 性 的 影响 。 应 用 程序 回归 测试 需要 查看 新 版 本 的 效率 和 可 代 
性 是 否 与 旧版 本 相同 。 

(5) 评估 新 产品 

可 以 运行 测试 ， 以 评估 单个 产品 和 子 系 统 在 产品 生命 周期 中 的 计划 阶段 和 设计 阶段 
的 表现 。 例 如 ， 可 以 根据 评估 测试 来 选择 服务 器 的 硬件 或 数据 库 套件 。 

(6) 确定 瓶颈 

可 以 运行 测试 以 确定 系统 的 瓶颈 ， 并 确定 哪些 因素 导致 性 能 下 降 ， 例如， 文件 锁定 、 
资源 争 用 和 网 络 过 载 。 使 用 负载 压力 测试 工具 ， 以 及 网 络 和 计算 机 监视 工具 以 生成 负载 ， 
并 度量 系统 中 不 同 点 的 性 能 。 如 图 8-23 所 示 为 系统 不 同 点 的 性 能 。 


Application Server 


图 8-23 ”系统 不 同 点 的 性 能 
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(7) 度量 系统 容量 

度量 系统 容量， 并 确定 系统 在 不 降低 性 能 的 前 提 下 能 提供 多 少 额 外 容量 。 要 得 看 容 
量 ， 可 以 查看 现 有 系统 中 性 能 与 负载 间 的 关系 ， 并 确定 出 现 响 应 时 间 显 车 延长 的 位 置 。 
该 处 通常 称 为 响应 时 间 曲 线 的 “拐点 ”确定 了 当前 容量 后 ， 便 可 以 确定 是 否 需要 增加 次 
源 以 支持 额外 的 用 户 。 如 图 8-24 所 示 为 响应 时 间 与 负载 关系 。 


Response Time 
{seconds) 


Unacceptable 
种 国生 枚 加 国 本 本 本 四 国 四 量 村 


Acceptable 


Number of Users 


图 8-24 ”响应 时 间 与 负载 关系 


8.4.3 ”测试 需求 分 析 


负载 压力 测试 需求 分 析 既 需要 借助 于 相关 的 理论 知识 ， 又 要 依靠 测 试 工程 师 在 相关 
领域 的 经 验 积累 ， 下 面 分 别 介绍 一 些 理论 知识 及 经 验方 法 。 
1， 测试 需求 内 容 
测试 短 求 是 应 用 需求 的 衍生 ， 而 且 测 试用 例 也 必须 村 盖 所 有 的 测试 需求 ， 否 则 ， 这 
个 测试 过 程 就 是 不 完整 的 。 主 要 有 以 下 的 几 个 关键 点 ， 
e。 测试 的 对 象 是 什么 ， 例如 “被 测 系统 中 有 负载 压力 需求 的 功能 点 包括 哪些 ”; “ 测 
试 中 需要 模拟 哪些 部 门 用 户 产 生 的 负载 压力 ”等 问题 。 
。 系统 配置 如 何 ， 例 如 “预计 有 和 多少 用 户 并 发 访问 ”;“ 用 户 客户 端的 配置 如 何 ”， 
“使 用 什么 样 的 数据 库 ”; “服务 器 怎样 和 客户 端 通信 ”;“ 网 络 设备 的 吞吐 能 力 
如 何 ， 每 个 环节 承受 多 少 并 发 用 户 ” 等 问题 。 
。 ”应 用 系统 的 使 用 模式 是 什么 ， 例 如 “使 用 在 什么 时 间 达 到 高 峰 期 ":“ 用 户 使 用 
该 系统 是 采用 B/S 运行 模式 吗 ” 等 问题 。 
我 们 来 针对 用 户 提出 的 问题 ， 做 一 个 简单 的 需求 回答 ， 如 表 8-21 所 示 。 
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表 8-21 用 户 需 要 与 测试 目标 


测试 目标 用 户 需 求 
测量 对 最 终 用 户 的 响应 时 间 . ”| 要 花 多 少时 间 做 完 一 笔 交易 
确定 最 优 硬 件 配 守 什么 样 的 配置 提供 了 最 好 的 性 能 
检查 可 靠 性 ”| 系统 在 无 错 情况 下 能 承担 多 大 及 多 长 时 间 的 负载 
检查 软 、 硬 件 升级 这 些 升级 对 系统 性 能 影响 有 多 大 
评估 新 产品 | 服务 器 应 该 选择 哪些 硬件 与 软件 
测试 系统 负载 在 没有 较 大 性 能 衰减 的 前 担 下， 系统 能 够 承受 多 大 负载 
分 析 系统 瓶颈 哪些 因素 降低 了 交易 响应 时 间 


2. 负载 压力 测试 需求 分 析 原 理 

下 面 我 们 介绍 80 一 20 原理 测试 强度 估算 及 UCML 压力 需求 分 析 。 

(1)》 80 一 20 原理 测试 强度 估算 

80 一 20 原理 : 每 个 工作 日 中 80% 的 业务 在 20% 的 时 间 内 完成 。 例 如 ， 每 年 业务 量 集 
中 在 8 个 月 , 每 个 月 20 个 工作 日 ,每 个 工作 日 8 小 时 即 每 天 80% 的 业务 在 1.6 小 时 完成 。 

举 一 个 例子 来 看 80 一 20 原理 如 何 应 用 与 测试 需求 分 析 。 

去 年 全 年 处 理 业务 约 100 万 笔 ， 其 中 ，15% 的 业务 处 理 中 ， 每 笔 业务 需 对 应 用 服务 
器 提交 7 次 请 求 ; 70% 的 业务 处 理 中 , 每 笔 业务 需 对 应 用 服务 器 提交 5 次 请 求 ; 其 余 15% 
的 业务 处 理 中 ， 每 笔 业 务 需 对 应 用 服务 器 提交 3 次 请 求 。 根 据 以 往 的 统计 结果 ， 每 年 的 
业务 增生 为 13%， 考 虑 到 今后 3 年 业务 发 展 的 需要 ， 测 试 项 按 现 有 业务 量 的 两 倍 进行 。 

测试 强度 估算 如 下 。 

每 年 总 的 请 求 数 为 ， (100X 15%x7+100x70%x5+100x15%x3 ) x2=1000 万 次 /年 ; 

每 天 请 求 数 为 ，1000/160=6.25 万 次 /天 ; 

每 秒 请 求 数 为 : (62500x80%)/(8x20%x3600)=8.68 次 / 秒 ; 

即 服务 器 处 理 请 求 的 能 力 应 达到 9 次 / 秒 。 

(2) UCML〈User Community Modeling Language) 压力 需求 分 析 

UCML “是 一 个 符号 集合 ， 这 些 符号 可 以 创建 虚拟 系统 用 法 模型 ， 以 及 描述 相关 参 
数 。 当 把 它 应 用 到 负载 压力 性 能 测试 时 ， 这 些 符号 可 用 于 表示 工作 和 量 分 配 、 操 作 流 程 、 
重点 工作 表 、 和 矩阵 和 马尔 可 夫 链 等 。 负 载 压力 性 能 测试 工程 师 在 决定 测试 中 用 到 什么 活 
动 ， 以 及 它们 发 生 的 频率 时 ， 经 常用 到 这 些 参 量 。UCML 输出 的 结论 图 表 可 有 效 地 应 用 
于 文档 ， 甚 至 是 测试 计划 、 测 试 设计 等 ， 还 可 作为 讨论 和 数据 整理 的 依据 。 系 统 分 析 人 
员 和 用 户 还 可 以 用 它们 回顾 和 验证 工作 流程 和 工作 量 的 需求 。 

UCML “给 支持 负载 压力 性 能 测试 的 复杂 数学 模型 创建 一 个 直观 的 可 视 化 模型 ， 对 
于 数学 模型 来 说 ，UCML ” 不 是 代替 品 ， 而 是 一 种 补充 。 现 在 至 少 可 以 证 明 这 一 可 视 化 
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技术 对 测试 人 员 、 应 用 用 户 、 开 发 者 、 经 理 和 商家 来 说 都 是 相当 直观 的 。 根 据 我 们 的 经 
验 , 它 使 类 似 于 “此 activity 通用 吗 ” “为 什么 activityB 必须 以 activityD 作为 先决 条 件 ， 
这 是 不 正确 的 ” 甚至 “如 何 再 次 阅读 重点 工作 表 ” 这 样 的 重要 问题 得 到 了 更 直观 的 表现 。 

没有 专门 对 应 于 UCML™ 的 画图 工具 ， 除 了 用 SmartDraw 画 UCML “模型 时 ， 还 
可 以 应 用 PowerPoint、Microsoft Visio 等 软件 来 夯 ， 而 且 我 们 可 多 Microsoft Visio 和 
SmartDraw 创建 符号 库 。 

UCML™ 不 是 一 种 工业 标准 ， 现在 还 不 能 证 明 是 适用 于 任何 类 似 IEEE 的 工业 标准 
或 规范 。 用 户 可 以 应 用 其 中 的 全 部 或 部 分 符号 ， 或 者 按照 需要 来 修改 或 改进 它们 。 下 面 
我 们 来 看 看 UCML 的 符号 。 

。 基本 符号 。 

基本 符号 可 以 表示 系统 应 用 。 在 许多 情况 下 ， _ 个 用 法 路 径 可 以 看 作 是 一 个 应 用 会 
话 。 事 实 上 , 用 法 路 径 是 UCML … 的 基础 , 因为 项 目 组 的 所 有 成 员 早已 理解 了 系统 应 用 。 

e。 数量 环 。 

数量 环 是 用 来 回答 “多 少 ”“ 多 大 频率 ”问题 的 。 圆 轿 里 显示 的 是 一 个 数 或 者 百 分 
比 。 例 如 ， 在 模拟 精确 量 的 时 候 用 数 ， 不 管 人 数 的 具体 


多 少 ; 在 模拟 整个 用 户 群 中 的 一 ys 用 百分比 表示 。 ( OR 
如 图 8-25. 所 示 为 数量 环 。 


。 ”描述 线 。 图 8-25 ”数量 环 
描述 线 是 水 平 的 实 线 ， 表 示 activity 和 用 户 类 型 。 每 


个 描述 线 都 标注 了 一 个 或 多 个 描述 内 容 ， 来 显示 用 户 类 型 、activity 或 运行 路 径 。 附 在 描 
述 语句 后 面 的 圆 括号 里 的 内 容 是 所 有 同类 用 户 的 百分比 ， 或 者 是 在 一 定时 间 段 内 运行 这 
一 activity、 执 行 这 条 路 径 的 用 户 百分比 。 在 一 定 情况 下 , 用 数量 环 来 描述 特定 用 户 类 型 、 
activity、 数 量 和 频率 更 直观 。 通 常 ， 当 有 多 项 标注 的 activity 出 现 或 者 同一 条 线 上 出 现 相 
同 的 数量 或 频率 时 ， 使 用 数量 环 ， 人 activity 时 ， 使 利加 扬子 。 

。 用 户 类 型 描述 线 。 

用 户 类 型 描述 线 在 模型 的 最 左边 ， 表示 将 要 进入 已 创建 的 应 用 中 的 用 户 类 型， 例如 : 
基本 用 户 、 超 级 用 户 、 管 理 员 。 与 用 户 类 型 相关 的 百分比 显示 了 所 有 用 这 种 类 型 表示 的 
系统 中 的 用 户 比例 。 如 图 8-26 所 示 为 用 户 类 型 描述 。 


Basic OR Administrator 


图 8-26 ”用 户 类 型 描述 
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: @ .activity 类 型 描述 线 。 

activity 类 型 描述 线 表 示 系 统 的 不 同类 型 用 户 的 activity 和 运行 路 径 。 线 的 上 面 列 出 
了 已 完成 的 用 户 activity, 或 运行 路 径 所 查看 的 界面 。 由 建 模 人 员 决 定 应 该 将 特定 activity 
的 每 个 步骤 列 出 还 是 简单 地 给 activity 命名 ,记录 的 关键 是 每 个 水 平 线 表 示 毫 无 转折 的 到 
达 该 activity 的 直线 路 径 。 这 条 线 可 以 分 出 支 路 也 可 以 合并 , 表示 通过 该 系统 对 行动 路 线 
的 选择 。 选 择 特定 运行 路 径 的 用 户 的 百分比 显示 在 路 径 始 端 的 数量 环 里 。 在 模型 中 任何 
一 个 指定 点 ， 所 有 运行 路 径 的 用 户 之 和 都 是 100%， 与 访问 站 点 的 人 数 相 同 。 如 图 8-27 
所 示 为 activity 类 型 描述 线 。 

。 同步 点 。 Search Titles (15%) 

垂直 的 虚线 表示 模型 中 的 同步 节点 。 如 果 同 步 节点 已 
命名 ， 就 将 它 的 名 字 写 在 线 的 上 方 。 同 步 节点 用 于 描述 合 
并 。 有 两 种 可 以 用 同步 节点 符号 表示 的 合并 , 即时 间 上 的 合并 和 运行 点 的 合并 。 如 图 8-28 

所 示 为 同步 点 。 

Ce 时 间 上 的 合并 意味 着 在 进程 开始 之 前 ， 先 到 达 同 步 节点 的 建 模 用 
户 必 须 等 待 所 有 其 他 建 模 用 户 都 到 达 此 节点 。 在 建立 信息 系统 时 ， 这 
是 非常 有 帮助 的 。 

运行 点 上 的 合并 意味 着 ， 所 有 建 模 用 户 都 运行 通过 了 应 用 中 的 同 
一 位 置 ， 但 不 一 定 在 同一 时 间 。 网 站 的 注册 界面 就 是 一 个 常见 的 例子 。 
明 8.28 同步 点 ”在 这 个 例子 中 ， 所 有 用 户 在 被 允许 访问 其 他 界面 之 前 ， 必 须 在 同一 网 

页 上 填写 各 自 的 资格 鉴定 。 在 开发 脚本 时 鉴别 这 些 运行 同步 节点 是 很 
有 帮助 的 ， 因 为 它们 可 以 为 脚本 、 草 稿 、 功 能 、 程 序 等 充当 普通 的 开始 /关闭 点 。 

我 们 发 现 , 在 名 称 后 用 圆 括号 插入 同步 节点 类 型 的 注释 很 有 帮助 ,例如 :“ 同 步 点 1 
(time) 。 

。 选择 框 。 

系统 运行 时 ， 常 常 要 求 用 户 进 行 一 些 不 会 改变 其 全 部 行为 的 选择 或 输入 数据 。 模 型 
中 ， 用 位 于 运行 路 径 下 方 的 一 个 虚线 框 来 表示 这 些 选项 。 如 图 8-29 所 示 。 

选择 框 需要 标注 一 个 词 或 断 语 , 来 描述 那些 随 着 用 户 。 order Book (15%) 

的 改变 而 变化 的 选择 和 数据 .特定 数据 将 会 记录 在 模型 内 ”一 一 一 -pra Te 
的 电子 数据 表 中 。 机 

e。 条件。 图 8-29 ”选择 框 

模型 中 ， 条 件 是 用 户 根据 结果 来 改变 其 运行 路 径 的 节点 。 下 面 的 例子 里 ， 假 设 用 户 
要 购买 一 本 书 。 如 果 用 户 查询 后 ， 发 现 它 有 库存 ， 用 户 就 按照 “Yes” 路 径 购 买 此 书 。 但 
是 ， 如 果 此 书 无 库存 ， 用 户 就 按照 “No” 路 径 取 消 此 过 程 。 如 图 8-30 所 示 为 条 件 。 


图 8-27 activity 类 型 描述 线 


Ss i i i i i i Eh 
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。 循环。 

在 运行 路 径 上 ， 虚 线 的 半圆 弧 表 示 循 环 ， 半圆 弧 所 环绕 的 活动 将 重复 执行 ， 需要 反 
复 的 次 数 或 需要 重复 此 行为 的 用 户 百 分 数 ( 不 是 模型 表示 的 所 有 用 户 ), 标 注 在 数量 环 里 。 
如 图 8-31 所 示 。 


In 


和 和 
. ’ 
. 9 

[4 [4 

要 [LL 

本 bd 
Lad Pe 要 
2 D9 Re 
Au ee Se Ld 
bb bb] ” 
i 
Sauenoes® OR be Dl 


图 8-30 条 件 图 8-3! 循环 


。 跳出 路 径 。 

除了 运行 路 径 中 断 的 节点 以 外 ， 构 镀 用 户 的 跳出 是 非常 重要 的 。 指向 数量 环 的 下 划 
线 表 示 路 径 在 具体 某 点 处 ， 将 要 跳出 系统 的 用 户 百 分 比 。 记 住 ， 所 有 进入 系统 的 用 户 都 
应 显示 退出 。 跳 出 系统 的 类 型 应 记录 在 标签 上 ， 例 如 “Log Out”( 如 果 用 户 基于 首选 方 
式 退 出 系统 ) 或 “Abandon”( 如 果 用 户 没 有 基于 首选 方式 退出 系统 )。 如 图 8-32 所 示 为 
跳出 路 径 单方 式 。 

下 面 的 例子 显示 了 从 运行 路 径 跳 出 的 多 种 方式 。 其 中 , 50% 的 用 户 放弃 了 系统 ,40% 
的 用 户 正在 退出 系统 ， 因 此 他 们 是 以 首选 方式 跳出 系统 的 《另外 的 10% 从 另 一 个 运行 路 
径 跳出 ， 没 有 给 出 表示 )。 如 图 8-33 所 示 为 跳出 路 径 多 种 方式 。 


OR 
Log Out Abandon Abandon Log Out 
ww 外 
图 8-32 ”跳出 路 径 单方 式 图 8-33 ”跳出 路 径 多 种 方式 
e 分支 。 


大 多 数 应 用 是 不 局 限于 直线 路 径 的 。 开始 执行 同一 activity 的 一 组 用 户 ， 可 能 只 是 
为 了 以 后 分 支 到 不 同 的 运行 路 径 中 。 如 果 我 们 把 activity 线 想 象 成 汽车 运行 的 马路 ,那么 
分 支 就 表示 由 司机 进行 方向 选择 的 十 字 路 口 。 下 面 的 例子 显示 了 一 个 分 支 ， 可 以 在 这 个 
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分 支 上 选择 两 条 路 径 中 的 一 条 离开 主页 。 分 支 上 用 户 百 分 数 的 和 必须 等 于 引起 分 支 的 界 
面 上 的 用 户 百分比 。 这 个 例子 里 , 主页 有 100% 的 用 户 ， 而 分 支 上 的 百分比 之 和 也 是 100%. 
如 图 8-34 所 示 为 分 支 一 。 


Login (85%) 


( 100% 
Home Pape 


FAQ (15%) 


图 8-34” 人 分支 一 


一 个 独立 的 摘 述 线 可 以 有 多 个 分 支 ， 如 图 8-35 所 示 。 


Check Order Status (15%) 


Manage Account (40%) 


Login (85%) 


Order (15%) 


Search Items 
(30%%) 


Save ltems 
(15%) 


图 8-35 分 支 二 


e 合并。 

市 有 分 支 的 运行 路 径 常 遇 到 将 不 同 分 文 合并 到 一 起 的 情况 。 仍 以 交通 类 推 ， 这 就 相 
当 于 来 目 不 同道 路 的 汽车 行驶 到 同一 条 马路 。 下 面 的 例子 显示 了 两 个 不 同 路 径 合并 到 
Update Billing Information 这 一 activity。 同 理 , 合并 前 的 用 户 的 总 百分比 必须 等 于 合并 后 
的 总 用 户 百 分 比 。 如 图 8-36 所 示 为 分 支 合并 。 

男 外 一 个 常 应 用 的 合并 是 为 了 显示 不 同类 型 的 用 户 在 同一 点 进入 了 软件 ， 如 图 8-37 
所 示 。 这 里 ， 每 个 不 同类 型 的 用 户 用 不 同 的 颜色 表示 。 这 样 做 是 为 了 在 以 后 的 模型 中 ， 
使 对 应 于 特定 用 户 组 的 行为 能 够 通过 颜色 区 分 。 每 个 用 户 类 型 后 面 都 用 圆 括号 标注 了 它 
的 缩写 ， 这 些 缩写 在 以 后 的 模型 中 也 可 以 应 用 。 这 对 那 种 必须 由 黑白 表示 的 模型 特别 
有 利 。 
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Manage 
Account (5%) 


Update Billing 
Information (50%) 


Place 
Order (45%) 


图 8-36 分支 合并 


New User (NU) 
Administrator (A) 
Member (M) 


网 8-37 ”不 同类 型 用 户 分 支 合 并 


我 们 可 以 将 符号 组 合 为 User Community 模型 。 

基本 符号 的 组 合 使 UCML™ 语言 更 加 强大 。 通 过 组 合 符号 , 可 以 在 一 个 能 形成 整个 
Community 的 虚拟 模型 的 系统 中 ， 表 示 所 有 可 能 的 用 户 运行 路 径 。 再 以 交通 类 比 ， 将 模 
型 中 的 线 想象 成 马路 、 每 个 建 模 用 户 想象 成 在 这 些 路 上 行驶 的 汽车 。 把 两 条 或 更 多 条 线 
相遇 的 点 看 作 十 字 路 口 ， 将 同步 点 看 作 是 交通 信和 号， 将 跳出 看 作 是 驶 出 轨道 。 数 量 环 显 
示 出 马路 的 运行 载重 ， 因 此 创建 了 一 个 用 户 如 何 穿 过 软件 的 “地 图 ”。 

举 个 例子 ,我们 将 为 在 线 书店 建立 一 个 UCML™ 图表。 假设 这 是 一 个 新 的 应 用 ， 所 
以 我 们 没有 可 以 分 析 利 用 的 现存 数据 。 经 过 一 系列 的 采访 ， 我 们 收集 了 下 面 的 信 息 。 它 
们 是 关于 用 户 进入 网 站 的 activity 和 他 们 预期 的 相关 量 。 

。 四 种 用 户 类 型 ， 新 用 户 〈20%)， 会 员 (70%)， 管 理 员 (4%)， 商 家 (6%)。 

e。 所 有 用 户 都 从 主页 进入 。 

。 新 用 户 和 会 员 可 引导 以 下 activity: 

(GD 通过 题目 、 作 者 、 关 键 字 查询 书目 。 

凶 向 购物 车 添加 一 本 或 更 多 书 。 

@ 保留 购物 车 以 待 结 算 。 


Home Page (100%) 
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e 新 用 户 可 以 开设 账户 〈 开 设 账户 后 就 变 成 了 会 员 )。 

e 会 员 可 以 选择 以 下 activity: 进入 系统 、 升 级 账户 、 项 目 结算 、 检 查 结算 状态 。 

e 管理 员 和 商家 必须 从 主页 进入 系统 ， 再 从 管理 员 界 面 开 始 。 

。 管理 员 可 以 选择 以 下 activity: 添加 新 书 、 检 查 结算 状态 、 升 级 结算 状态 、 取 消 

命令 。 
e。 商家 可 执行 以 下 报告 库存、 上 有 周 销售 额 、 上 月 销售 额 。 
如 图 8-38 所 示 为 在 线 书店 UCML 图 表 。 
Upduso Aconunt (5%%) 
Login (133%) ha 
dry Check Onder 
0n 和 过 Seus (10%) Part ‘Logout 
/ “Orie 
| on 人 省 
Home Page | Sh 05%) In Stoek? “any Re i 
od) Mev oe | | Serch (15%) __/ AN 
位 | CC Wy NN ~No hh Ca Order Co/ Enii\ Logou 
// mum) (33% Co 

Vendor 

NA VE NUpdate Stues 
| (A) f Mdd Book (1%) 和 


图 8-38 在 线 书 店 UCML 图 家 


很 明显 ， 如 图 8-38 所 示 包 含 了 访问 总 结 中 所 未 提 到 的 信息 ， 这 些 信息 是 为 最 初 草案 
而 估计 的 。 仔 细 观 察 还 会 发 现 ， 不 是 所 有 来 自 于 访问 总 结 的 信息 都 囊 插 进来 了 。 现 在 图 标 
可 以 反馈 到 被 采访 者 处 了 ， 以 便 他 们 确认 或 改正 运行 路 径 和 用 户 量 、 添 加 或 删除 activity。 

3。 希 求 分 析 方 法 

(1) 任务 分 布 图 方法 

使 用 任务 分 布 图 方法 应 关注 下 面 两 点 : 
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GD 有 哪些 交易 任务 。 
.©®@ 在 一 天 的 某 些 特定 时 刻 系统 都 有 哪些 主要 操作 。 
举例 如 图 8-39 所 示 ， 可 以 得 到 : 
。 12:00， 交 易 混 合 程度 最 商 ; 
。 10:00 一 12:00 是 登录 高 峰 期 ; 
e 数据 更 新 业务 的 并 发 用 户 数 最 大 为 90， 等 信息 。 


测试 执行 周期 
图 8-39 ”任务 分 布 图 


(2) 交易 混合 图 方法 

使 用 交易 混合 图 方法 应 关注 下 面 三 点 : 

。 系统 日 常 业务 主要 有 哪些 操作 ， 高 峰 期 主要 有 哪些 操作 。 

。 数据 库 操作 有 多 少 。 

。 ”如果 任务 失败 ， 那 么 商业 风险 有 多 少 。 

选择 重点 交易 的 指标 为 高 吞吐 重 、 高 数据 库 VO、 高 商业 风险 。 举 例如 表 8-22 所 示 ， 
“登录 ”"、“ 生 成 订单 ”以 及 “发 货 ” 为 负载 压力 测试 重点 。 


农 8-22 交易 混合 家 


交易 名 称 er 高 峰 期 业务 /hr | Web 服务 器 负载 | 数据 库 服务 器 负载 | 风险 


20 | 高 | 低 
| 中 备 | 中 等 
0 | 中 等 | 等 
0 | 中 等 | 中 等 
ET 7 


| 六 | 评 | 守 | 冲 
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(3) 用 户 概况 图 方法 

使 用 用 户 概况 图 方法 应 关注 下 面 两 点 : 

。 哪些 任务 是 每 个 用 户 都 要 执行 的 ; 

ea 针对 每 个 用 户 ， 不 同 任务 的 比例 如 何 。 

如 表 8-23 所 示 为 任务 频率 表 ， 负 载 压 力 测试 需要 模拟 不 同 用 户 角色 压力 。 


表 8-23 ”任务 频率 表 
经 理 〈30) 
输入 订单 100 Ne 
_ 更 新 订单 [| z 
计算 飞行 里 程 _ | ”1 而 | S 
计算 销售 | 8 


8.4.4 ”测试 案例 制定 . 

测试 案例 制定 包括 测试 策略 、 测 试 案例 以 及 测试 内 容 。 

1. 测试 策略 

测试 策略 一 般 包 括 对 比 测试 环境 和 真实 业务 测试 环境 ， 真 实业 务 操作 环境 又 可 能 涉 
及 局 域 网 测试 环境 和 机 房 测 试 环境 等 。 

2， 测 试 案 例 

如 表 8-24 所 示 为 一 个 局 域 网 测试 案例 说 明 表 。 


表 8-24 局域网 测试 察 例 
并 发 | 网 络 环境 、 
信息 ] 50 用 户 并 发 ， 上 传 50 条 记录 ; | ea 2 
ea | 100 用 户 并 发 ， 上 传 100 条 记录 | 只 上 上传 信息 ， 不 带 附 从 
文件 上 100M 局域网 |50 用 户 并 发 ， 上 传 50 条 记录 ; | 信息 和 附件 都 上 传 《 附 
| 传 下载 | 56kbay 00 用 户 并 发 ， 上 传 100 条 记录 | 件 大 小 为 200k) 
| 、“ ”|S$o 用 户 并 发 ， 新 增 50 条 记录 : | 
人 sm| Modem |100 用 户 并 发,- 新 增 100 条 记录 
|50 用 户 并 发 ， 新 增 50 条 记录 ;| 


z 工作 记事 100 用 户 并 发 ， 新 增 100 条 记录 | 
机 房 注 ， 记 录 操 作 前 后 数据 库 记 录 数 目 ， 每 个 虚拟 用 户 循环 执行 3 次 案例 交易 。 


3， 测试 内 容 
测试 内 容 一 般 包括 并 发 性 能 测试 、 疲 劳 强度 测试 、 大 数据 量 测试 和 系统 资源 监控 等 。 
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8.4.5 ”测试 环境 、 工 具 、 数 据 准备 


1. 测试 环境 准备 
测试 环境 直接 影响 测试 效果 ， 所 有 的 测试 结果 都 是 在 一 定 软 硬件 环境 约束 下 的 结 
， 测 试 环境 不 同 ， 测 试 结果 可 能 会 有 所 不 同 ， 特 别 对 于 压力 负载 测试 更 是 如 此 ， 因 为 


压力 负载 测试 结果 往往 是 一 组 和 时 间 有 关 的 值 ， 因 此 对 负载 压力 测试 环境 的 准备 就 显得 
特别 的 重要 。 


(1) 测试 环境 的 基本 原则 

。 ”要 满足 软件 运行 的 最 低 要求 ， 不 一 定 选 择 将 要 部 署 的 环境 ; 

。 选用 与 被 测 系统 相 一 致 的 操作 系统 和 软件 平台 ; 

。 营造 相对 独立 的 测试 环境 ; 

。 无 毒 的 环境 。 

(2) 负载 压力 测试 的 测试 环境 

负载 压力 测试 环境 准备 过 程 中 可 以 参考 测试 环境 的 基本 准则 ， 但 是 又 要 考虑 负载 压 


力 测试 的 特殊 性 和 负载 压力 测试 目的 。 负 载 压力 测试 一 般 强 调 “ 真 实 ” 应 用 环境 下 的 性 
能 表现 ， 从 而 实现 性 能 评估 、 故 障 定位 以 及 性 能 优化 的 目的 ， 因 此 在 负载 压力 测试 环境 
的 准备 中 要 注意 以 下 几 点 : 


e。 ”如果 是 完全 雁 实 的 应 用 运行 环境 ， 要 尽 可 能 降低 测试 对 现 有 业务 的 影响 ， 
e。 如 果 是 建立 近似 的 真实 环境 ， 要 首先 达到 服务 器 、 数 据 库 以 及 中 间 件 的 芮 实 ， 
并 且 要 具备 一 定 的 数据 量 ， 客 户 端 可 以 次 要 考虑 ; 

必须 考虑 测试 工具 的 硬件 和 软件 配置 要 求 ; 

配置 与 业务 相关 联 的 测试 环境 需求 ; 

测试 环境 中 应 包括 对 交互 操作 的 支持 ; 

测试 环境 中 应 该 包括 安装 、 备 份 及 恢复 过 程 。 

(3) 测试 环境 配置 

操作 系统 的 版 本 〈 包 插 各 种 服务 、 安 装 及 修改 补丁 ); 

网 络 软 件 的 版 本 ; 

传输 协议 ; 

服务 器 及 工作 站 机 器 ; 

测试 工具 配置 。 

(4) 良好 的 测试 环境 标准 

e。 保证 达到 测试 执行 的 技术 需求 ; 

。 保证 得 到 稳定 的 、 可 重复 的 、 正 确 的 测试 结果 。 
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大 多 数 情况 下 我 们 强调 真实 环境 下 检测 系统 性 能 ， 在 实施 过 程 中 大 家 认为 这 样 做 会 
过 到 很 多 阻力 ， 比 如 真实 环境 下 ， 不 允许 负载 压力 测试 为 系统 带 来 大 量 的 垃圾 数据 ; 测 
试 数据 与 真实 业务 数据 混在 一 起 无 法 控制 测试 结果 ; 负载 压力 测试 如 果 使 服务 器 宕 机 ， 
会 给 系统 带 来 巨大 损失 等 。 那 么 我 们 应 该 如 何 理解 “真实 环境 下 检测 系统 性 能 ” 呢 ? 

在 负载 压力 测试 中 我 们 强调 的 “真实 环境 ”是 指 后 台 服 务 器 与 客户 端 应 用 要 与 实际 
真实 应 用 环境 保持 一 致 ， 同 时 ， 这 里 也 包括 了 与 业务 有 关 的 软 硬 件 配置 环境 和 数据 和 量 环 
境 等 ， 可 以 看 出 我 们 将 网 络 环境 排除 在 外 。 原 因 是 网 络 环境 缓解 了 客户 端 对 服务 器 所 造 
成 的 并 发 负载 压力 ， 网 络 规模 越 大 、 网 络 类 型 越 多 、 网 络 拓扑 越 复杂 、 网 络 流量 越 纷繁 
交织 对 客户 端的 并 发 负载 压力 缓解 程度 越 大 。 

2， 测 试 工 具 准 备 

这 里 主要 讨论 选择 测试 工具 的 原则 ， 介 绍 一 些 主流 负载 压力 测试 工具 ， 同 时 也 涉及 
到 测试 工具 的 缺陷 等 内 容 。 

(1) 负载 压力 测试 工具 选择 

古人 云 “ 工 欲 善 其 事 ， 必 先 利 其 器 "， 进 行 负载 压力 性 能 测试 首先 应 该 选择 一 个 合 
适 的 测试 工具 ， 一 个 测试 工具 能 和 否 满足 测试 需求 、 能 和 否 达 到 令 人 满意 的 测试 结果 ， 是 选 
择 测试 工具 要 考虑 的 最 基本 的 问题 。 更 进一步 可 以 考虑 一 些 细节 问题 ， 比 如 该 工具 对 于 
处 理 扩 展 的 交互 〈 例 如 一 个 请 求 取 决 于 上 一 个 请 求 的 结果 ) 如 何 ; 对 于 处 理 cookies 
(cookies 对 于 许多 面向 会 话 的 J]2EE 系统 是 必 不 可 少 的 ) 如 何 ， 如 果 J2EE 应 用 程序 客户 
机 需要 处 理 一 些 JavaScript， 以 进入 下 一 次 通信 会 如 何 处 理 ， 在 收集 了 响应 时 间 数 据 后 ， 
如 何 对 它 进行 分 析 ; 对 CPU 时 间 、 网 络 使 用 、 推 大 小 、 分 页 活动 或 者 数据 库 活动 如 何 监 
控 等 都 是 选择 一 个 测试 工具 需要 考虑 的 具体 问题 。 一 些 商 端 工具 与 基本 工具 往往 在 一 些 
细节 、 适 用 范围 以 及 易 用 性 方面 存在 差别 。 比 如 ， 顶 级 的 负载 测试 工具 可 以 模拟 多 个 浏 
览 器 , 与 大 多 数 应 用 服务 器 集成 , 收集 多 个 服务 器 主机 的 性 能 数据 (包括 操作 系统 、JVM 
和 数据 库 统计 数字 )， 生 成 可 以 在 以 后 用 高 级 的 分 析 工 具 分 析 的 数据 集 。 

当然 ， 测 试 工具 的 选择 首先 应 该 看 是 否 能 够 满足 基本 测试 需求 ， 该 工具 必须 可 以 模 
拟 应 用 程序 客户 机 ， 如 果 应 用 程序 使 用 一 些 不 常见 的 浏览 器 功能 组 合 或 者 其 他 非 标 准 客 
户 机 技术 ， 那 么 就 排除 了 相当 一 部 分 候选 者 。 具 备 了 基本 功能 后 ， 可 以 考虑 工具 的 生产 
率 。 一 般 来 说 ， 包 含 的 分 析 工 具 越 多 ， 可 以 记录 的 性 能 数据 类 型 越 多 ， 可 以 达到 的 生产 
率 就 越 高 , 价格 也 就 越 高 。 不 过 有 些 低 端 负载 测试 程序 是 免费 的 ,在 预算 有 限 的 情况 下 ， 
“免费 ”的 意义 是 不 言 自明 的 。 

具体 来 说 在 选择 测试 工具 时 可 以 考虑 以 下 几 点 。 

。 模拟 客户 机 。 

首要 要 求 一 定 是 负载 测试 程序 能 够 处 理应 用 程序 所 使 用 的 功能 和 协议 。 
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e。 运行 多 个 模拟 的 客户 机 。 

这 是 负载 测试 程序 最 基本 、 站 
及 哪些 不 是 。 

。 脚本 化 执行 并 能 编辑 脚本 。 

如 果 不 能 编辑 客户 机 与 服务 器 之 间 交 互 的 脚本 ， 那 么 就 不 能 处 理 除 最 简单 的 客户 机 
之 外 的 任何 东西 。 编 辑 脚本 的 能 力 是 最 基本 的 ， 且 小 的 改变 不 应 该 要 求 重新 生成 脚本 。 

。 支持 会 话 。 

如 果 不 支持 会 话 或 者 cookies， 就 不 算是 真正 的 负载 压力 测试 工具 ， 并 且 不 能 对 大 多 
数 J2EE 应 用 程序 进行 负载 测试 。 

e。 可 配置 的 用 户 数 量 。 

测试 程序 应 该 可 以 让 您 指定 每 个 脚本 由 多 少 个 模拟 用 户 运行 ， 包 括 让 您 随时 间 改 变 
模拟 用 户 的 数量 ， 因 为 许多 负载 测试 可 以 做 到 从 小 的 用 户 数量 开始 ， 并 慢 慢 增加 到 更 多 
的 用 户 数量 。 

。 报告 成 功 、 错 误 和 失败 。 

每 一 个 脚本 都 必须 定义 一 个 方法 来 识别 成 功 的 交互 以 及 失败 和 错误 模式 (错误 一 般 
不 会 有 页 面 返回 ， 而 失败 可 能 在 页 面 上 得 到 错误 的 数据 )。 

。 页 面 显示 。 

如 果 测 试 工具 可 以 检查 一 些 发 送 给 模拟 用 户 的 页 面 ， 这 会 很 有 用 ， 这 样 可 以 做 到 心 
中 有 数 ， 以 确保 测试 工作 是 正确 进行 的 。 

。 导出 结果 。 

可 以 用 不 同 的 工具 来 分 析 测试 结果 ， 这 些 工具 包括 电子 表格 和 可 以 处 理 数据 的 自 定 
义 脚本 。 有 虽然 许多 负载 测试 工具 包括 大 量 的 分 析 功 能 ， 但 是 导出 数据 的 能 力 使 您 在 以 任 
意 的 方式 分 析 和 编辑 数据 方面 具有 更 大 的 灵活 性 。 

。 考虑 时 间 。 

真实 世界 的 用 户 不 会 在 收 到 一 页 后 立即 请 求 另 一 页 ， 一 般 在 查看 一 页 和 下 一 页 之 间 
会 有 延迟 。 考 虑 时 间 这 个 标准 术语 表示 在 脚本 中 加 入 延迟 以 更 真实 地 模拟 用 户 行为 。 大 
多 数 负载 测试 程序 支持 根据 统计 分 布 随机 生成 考虑 时 间 。 

e。 窗户 机 从 列表 中 选择 数据 。 

用 户 一 般 不 会 使 用 同样 的 一 组 数据 ， 每 位 用 户 通常 与 服务 器 进行 不 同 的 交互 。 模 拟 
用 户 应 该 也 这 样 做 ， 如 果 在 交互 的 关键 点 ， 脚 本 可 以 从 一 组 数据 中 选择 数据 ， 则 可 以 更 
容易 地 让 您 的 模拟 用 户 表现 出 使 用 不 同 数 据 的 行为 。 

。 从 手工 执行 的 会 话 记录 脚本 。 

相对 于 编写 脚本 ， 用 浏览 器 手工 运行 会 话 并 记录 这 个 会 话 ， 然 后 再 编辑 会 容易 
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得 多 。 

®. JavaScript。 

一 些 应 用 程序 大 重 使 用 JavaScript 并 且 和 需要 模拟 客户 机 支持 它 。 不 过 ， 使 用 客户 端 
JavaScript 可 能 会 增加 对 测试 系统 上 系统 资源 的 需求 。 

e 分析 工 具 。 

得 到 测试 数据 只 是 成 功 的 一 半 ， 另 一 半 是 分 析 性 能 数据 . 因此 测试 工具 提供 的 分 析 
工具 越 多 ， 就 越 有 利于 从 不 同 的 方面 进行 数据 分 析 。 

。 测量 服务 器 端 统计 数字 。 

基本 负载 压力 测试 工具 测量 客户 机 /服务 器 交互 中 基于 客户 机 的 响应 时 间 ， 如 果 同 时 
收集 其 他 统计 数据 (如 CPU 使 用 情况 和 页 面 错误 率 ) 就 更 好 了 ， 有 了 这 些 数 据 ， 就 可 以 
进一步 做 一 些 有 用 的 工作 , 如 查看 服务 器 负载 上 下 文中 的 客户 机 响应 时 间 和 香 叶 量 统计 。 

“ (2) 负载 压力 测试 工具 的 局 限 性 

任何 负载 压力 测试 工具 都 不 是 完美 无 缺 的 ， 在 我 们 的 实际 使 用 中 经 常 碰 到 一 些 问 
题 ， 概 括 起 米 主要 有 以 下 几 操 : 

。 缺乏 功能 点 的 校 验 ; 
对 有 些 控件 支持 得 不 好 ; 
不 能 达到 真实 模拟 负载 ; 
脚本 的 文 持 不 够 灵活 ; 
报错 定位 不 够 详细 。 

在 实际 压力 测试 过 程 中 ， 我 们 道 常 使 用 多 种 工具 达到 测试 目的 ， 如 何 配 合 使 用 多 种 
工具 ， 是 否 能 达到 最 好 的 “性 能 价格 比 ”? 测试 工程 师 要 发 挥 最 大 的 主观 能 动人 性 。 

(3) 主流 负载 压力 测试 工具 介绍 

。 QALoad 一 一 美国 Compuware〈 康 博 〉 公司 。 

特点 : 

测试 接口 。DB2, DCOM, ODBC, ORACLE, NETLoad, Corba, QARun, SAP, 
SQLServer, Sybase, Telnet, TUXEDO, UNIFACE, WinSock, WWW., 

@ 预测 系统 性 能 。 当 应 用 升级 或 者 新 应 用 部 署 时 ， 负 载 测试 能 帮助 确定 系统 是 否 
能 按 计 划 处 理 用 户 负 载 。QALoad 并 不 寅 调用 最 终 用 户 及 其 设备 ， 它 能 够 仿 走 数 以 干 计 
的 用 户 进 行商 业 交 易 。 通 过 QALoad， 用 户 可 以 预知 业务 量 接近 投产 后 的 真实 水 平时 端 
对 端的 响应 时 间 ， 以 便 满 足 投产 后 的 服务 水 平 要 求 。 

通过 重复 测试 寻找 瓶颈 问题 。QALoad 录制 /回放 能 力 提 供 了 一 种 可 重复 的 方法 
来 验证 负载 下 的 应 用 性 能 ， 可 以 很 容易 地 模拟 数 干 个 用 户 ， 并 执行 和 运行 测试 。 利 用 
QALoad 反复 测试 可 以 充分 地 测试 与 容量 相关 的 问题 ， 快 速 确认 性 能 瓶颈 并 进行 优化 和 
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调整 。 

@ 从 控制 中 心 管理 全 局 负载 测试 。QALoad Conductor 工具 为 定义 、 管 理 和 执行 负 
载 测 试 提 供 了 一 个 中 心 控 制 点 。Conductor 通过 执行 测试 脚本 管理 无 数 的 虚拟 用 户 。 
Conductor 可 以 自动 识别 网 络 中 可 进行 负载 测试 的 机 器 , 并 在 这 些 机 器 之 间 自 动 分 布 工作 
量 以 避免 网 段 超载 。 从 Conductor 自动 启动 和 配置 远程 用 户 ， 跨 国 机 构 可 以 进行 全 球 负 
载 测 试 。 在 测试 过 程 中 , Conductor 还 可 以 在 负载 测试 期 间 收集 有 关 性 能 和 时 间 的 统计 数据 。 

验证 应 用 的 可 扩展 性 。 出 于 高 可 扩展 性 的 设计 考虑 ，QALoad 包括 了 远程 存储 感 
拟 用 户 响应 时 间 ， 并 在 测试 结束 后 或 其 他 特定 时 间 下 载 这 些 资料 的 功能 。 这 种 方法 可 以 增 
加 测试 能 力 ， 减 少 进行 大 型 负载 测试 时 的 网 络 资源 耗费 。QALoad 采用 轮 询 法 采集 响应 时 
间 ， 在 无 需 影响 测试 或 增加 测试 投资 的 条 件 下 ， 就 可 了 解 测试 中 究竟 出 现 了 什么 情况 。 

在 利用 QALoad 进行 测试 时 ， 可 以 有 选择 地 改变 硬件 或 软件 的 配置 ， 并 改变 测试 步 
调和 负载 量 。QALoad 系统 的 NetLoad 模块 帮助 建立 所 需 的 额外 网 络 流量 来 模拟 真实 的 
产品 负载 。 供 助 于 “NetLoad "， 可 以 在 大 环境 下 分 配 虚拟 用 户 ， 更 好 地 规划 在 投产 环境 
中 如 何 让 这 些 应 用 更 好 地 工作 。 

QALoad 引入 了 “flash” 为 电子 商务 应 用 软件 作 容量 测试 . fash 测试 允许 在 测试 期 
间 增 加 大 量 的 虚拟 用 户 ， 来 确定 压力 对 底层 部 件 和 基础 结构 的 影响 。flash 测试 也 可 以 证 
明 应 用 投产 后 其 响应 时 间 将 不 会 降低 至 服务 级 以 下 。 

快速 创建 仿真 的 负载 测试 。 准 确 仿 真 复杂 业务 的 进行 ， 对 于 预测 电子 商务 应 用 
软件 的 功能 至 关 重 要 。 运 用 QALoad， 可 以 迅速 创造 出 一 些 实际 的 安装 测试 方案 ， 而 不 
需要 手工 编写 脚本 或 有 关 应 用 中 间 软 件 的 详细 知识 和 协议 。 

对 结合 了 多 种 传输 协议 的 应 用 软件 进行 负载 测试 是 一 个 巨大 的 挑战 。 为 了 准确 仿真 
这 些 应 用 软件 产生 的 流量 ，QALoad 可 以 捕获 多 种 协议 并 在 同一 测试 过 程 中 执行 它们 。 
基于 浏览 器 的 应 用 经 常 打开 与 服务 器 的 多 个 连接 以 缩短 网 页 下 载 时 间 ， 导 致 服务 器 的 额 
外 流量 。QALoad 能 准确 地 仿真 出 浏览 器 与 服务 器 之 间 的 交互 ， 包 括 多 重 连接 ， 使 负载 
更 加 准确 。 

另外 , 这 些 应 用 软件 常常 包含 一 些 在 测试 方案 中 必须 申明 的 动态 信息 ,运用 QALoad 
的 ActiveData 特征 ， 可 以 定义 脚本 参数 ， 以 帮助 确保 应 用 测试 脚本 的 成 功 执 行 。 

例如 ， 对 一 些 安全 或 非 安 全 的 Web 应 用 软件 ，ActiveData 自动 转化 为 动态 信息 ， 如 
cookies， 包括 动态 Active Serve Page cookies、 动 态 URL 名 称 、 服 务 器 导向 、 动 态 框 架 或 
者 其 他 时 期 的 特定 信息 。ActiveData for Web 有 助 于 保证 测试 脚本 与 Web 应 用 在 测试 过 
程 中 保持 同步 。 

ActiveData 每 次 自动 查找 和 提出 需要 的 变更 建议 ， 使 测试 脚本 正确 执行 。 在 脚本 执 
行 过 程 中 ， 脚 本 中 的 信息 可 以 被 产生 的 正确 信息 自动 替代 。 
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性 能 价格 比较 高 。 

这 齿 特 所 应 该 是 负载 压力 测试 工具 普 过 具备 的 特 反 ， 在 后 面 的 负载 压力 工具 介绍 中 
就 不 再 歼 述 ， 而 是 介绍 一 些 除 了 这 些 之 外 的 特点 。 

测试 结果 报告 如 图 8-40 所 示 。 
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图 8-40”QALoad 测试 报告 


测试 结果 分 析 如 图 8-41 所 示 ，1 一 2 一 3 表示 业务 组 A，4 一 5 一 6 表示 业务 组 B， 
7 一 8 一 9 表示 业务 组 C，10 一 11 一 12 表示 业务 组 D， 在 各 个 业务 组 中 序号 从 小 到 大 表示 
不 同 的 并 发 用 户 。 


图 8-41“ QALoad 测试 结果 分 析 
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s LoadRunner 一 一 美国 Mercury Interactive 公司 。 

Q@ 测试 接口 ， 支 持 的 协议 多 且 个 别 协议 支持 的 版 本 较 商 ， 

负载 压力 测试 方案 设置 灵活 ; 

@ 丰富 的 资源 监控 ， 资 源 监 控 计数 器 ， 如 图 8-42 所 示 ; 

@ 报告 可 以 导出 到 Word、Excel 以 及 HTML 格式 。 
LoadRunner’s Real-time Performance Monitors 


LoadRunner s real-time performance monitors help isolate 
performance problems within your system. 


Os Monitors: Web Application Server 


® Windows NT, 2000 Monitors; 、 
e UNIX e Broad Vision One-To-One 
。° Linux e Allaire ColdFusion 
。 SllverStream 
Network Monitors: 。 BEA WebLogic Server 
。 SNMP 。 IBM WebSphere 
e Network Delay 。 Microsoft ASP 
。 Ariba Buyer 
Firewall Monitors: e。 ATG Dynamo 
e CheckPoint es [Planet (NAS) 
Middleware Monitors Streaming Monitors: 
e BEA Tuxedo e RealNetworks . 
e Enterprise Java Beans 。 Microsoft Windows Media 
Web Server Monitors: Database Monitors; 
。 Microsoft IIS es Oracle 
。 IPlanet (NES) e Microsoft SQL Server 
。 Apache 。 IJBM DB2 


图 8-42 ”LoadRunner 资源 监控 计数 器 


e Benchmark Factory 一 一 美国 Quest 软件 公司 。 
特点 : z . 

Q@ 可 以 测试 服务 器 集群 的 性 能 ; 

包 可 以 实施 基准 测试 ; 

@) 可 以 生成 高 级 脚本 ， 例 如 脚本 中 数据 池 的 生成 可 以 采用 随机 数 。 

。 WAS 一 一 美国 Microsof 公司 。 z z 
这 是 一 个 Microsoft 提供 的 免费 的 Web 负载 压力 测试 工具 ， 应 用 比较 广泛 ， 下 面 做 
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一 个 较 详 细 的 介绍 。 z 

WAS 可 以 通过 一 台 或 者 多 台 客 户 机 模拟 大 量 用 户 的 活动 。WAS 支持 身份 验证 、 加 
密 和 Cookies， 也 能 够 模拟 各 种 浏览 器 类 型 和 Modem 速度 ， 它 的 功能 和 性 能 可 以 与 数 万 
美元 的 产品 相 媲 美 。 

要 对 网 站 进行 负载 测试 首先 必须 创建 WAS 脚本 模拟 用 户 活动 。 我 们 可 以 用 下 面 四 
种 方法 之 一 创建 脚本 : QD 通过 记录 浏览 器 的 活动 ; 四 通过 导入 IIS 日 志 ; @ 通过 把 
WAS 指向 Web 网 站 的 内 容 ， 外 手工 制作 。 

制作 WAS 脚本 是 相当 简单 的 ,不 过 要 制作 出 模拟 真实 用 户 活动 的 脚本 就 有 些 复杂 。 
如 果 你 已 经 有 一 个 运行 的 Web 网 站 ， 可 以 使 用 Web 服务 器 的 日 志 来 确定 Web 网 站 上 的 
用 户 点 击 分 布 。 如 果 你 的 应 用 还 没有 开始 运行 ， 那 么 只 好 根据 经 验 作 一 些 猜测 了 。 

客户 端 交 易 测试 指标 主要 有 : ” 

(DD Number of hits: 测试 间 隐 内 虚拟 用 户 点 击 页 面 的 总 次 数 ; 

@ Requests per second: 每 秒 客户 端的 请 求 次 数 ; 

(3) Threads: 线程 数 ; 

@ TTFB Avg: 从 第 一 个 请 求 发 出 到 测试 工具 接收 到 服务 器 应 答 数据 的 第 一 个 字 节 
之 间 的 平均 时 间 ; 

@@ TILB Avg: 从 第 一 个 请 求 发 出 到 测试 工具 接收 到 服务 器 应 答 数据 的 最 后 一 个 字 
节 之 间 的 平均 时 间 。 

准备 好 测试 脚本 之 后 ， 我 们 可 以 调整 测试 配置 ， 以 便 观察 不 同 条 件 下 的 应 用 性 能 。 
如 图 8-43 所 示 是 WAS 的 设置 界面 。 

Stress Level 和 Stress Multiplier 这 两 项 决定 了 访问 服务 器 的 并 发 连接 的 数量 。 如果 要 
模拟 的 并 发 连接 数量 超过 100 个 ， 可 以 调整 Stress multiplier 或 使 用 多 个 客户 机 。 在 负载 
测试 期 间 WAS 将 通过 DCOM 与 其 他 客户 机 协调 。 有 关 在 测试 中 使 用 多 个 客户 机 的 更 多 
信息 ， 参 见 http://webtool.rte.microsoft.com/kb/hkb13.htm。 

如 果 网 站 提供 个 性 化 服务 ， 要 进行 身份 验证 或 使 用 Cookies， 我 们 还 要 为 WAS 提供 
一 个 用 户 目 录 。WAS 中 的 用 户 存储 了 发 送 给 服务 器 的 密码 以 及 服务 器 发 送 给 客户 端的 
Cookies。 增 加 用 户 数量 并 不 增加 Web 服务 器 的 负载 。 必 须 提供 足够 数量 的 用 户 以 满足 
并 发 连接 的 要 求 (Stress Level 乘 以 Stress Multiplier)。 有 关 线 程 、 用 户 和 Cookies 相互 作 
用 的 更 多 信息 请 参见 http://webtool.rte.microsoft.com/Threads/WASThreads.htm。 

WAS 允许 设置 warmup (热身 ) 时 间 , 一 般 可 以 设置 为 1 分 钟 。 在 warmup 期 间 WAS 
开始 执行 脚本 ， 但 不 收集 统计 数据 。warmup 时 间 给 MTS、 数 据 库 以 及 磁盘 缓冲 等 一 个 
机 会 来 做 准备 工作 。 如 果 在 warmup 时 间 内 收集 统计 数据 ， 这 些 操作 的 开销 将 影响 性 能 
测试 结果 。 
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图 8-43 WAS 的 设置 界面 


设置 页 面 提供 的 另外 一 个 有 用 的 功能 是 限制 带宽 〈throttle bandwidth)。 带 宽 限 制 功 
能 能 够 为 测试 模拟 出 Modem (14.4K, 28.8K, 56K)、ISDN (64K, 128K) 以 及 T1 (1.54M) 
的 速度 。 人 
Web 服务 器 所 感受 的 性 能 。 

要 理解 这 些 不 同 的 设置 对 应 用 的 影响 ， 有 此 要 了 解 如 何 使 用 WAS 收集 性 能 数据 。 

使 用 WAS， 从 远程 Windows NT 和 Windows 2000 机 器 获取 和 分 析 性 能 计数 器 
(Performance Counter) 是 很 方便 的 。 加 入 计数 器 要 用 到 如 图 8-44 所 示 的 Perf Counters 
分 支 。 

在 测试 中 选择 哪些 计数 器 显然 跟 测 试 目 的 有 关 。 昌 然 下 面 这 个 消 单 不 可 能 精确 地 隔 
离 出 性 能 瓶颈 所 在 ， 但 对 一 般 的 Web 服务 器 性 能 测试 来 说 却 是 一 个 好 的 开始 。 

处 理 器 ，CPU 使 用 百分比 〈% CPU Utilization >; 
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@ 线程 每 秒 的 上 下 文 切 换 次 数 (Context Switches Per Second (Total)); 
@ ASP: 每 秒 请 求 数量 (Requests Per Second); 


8-44 ”Perf Counters 分 析 


ASP: 请 求 执行 时 间 (Request Execution Time); 

( 引 ASP: 请 求 等 等 时 间 (Request Wait Time); 

@ ASP: 置 入 队列 的 请 求 数量 (Requests Queued)。 

CPU 使 用 百分比 反映 了 处 理 器 开销 。CPU 使 用 百分比 持续 地 超过 75% 是 性 能 瓶颈 
存在 于 处 理 器 的 一 个 明显 的 迹象 。 每 秒 上 下 文 切 换 次 数 指示 了 处 理 器 的 工作 效率 。 如 果 
处 理 器 陷于 每 秒 数 千 次 的 上 下 文 切换 ， 说 明 它 忙于 切换 线程 而 不 是 处 理 ASP 脚本 。 

每 秒 的 ASP 请 求 数量 \ 执行 时 间 以 及 等 待 时 间 在 各 种 测试 情形 下 都 是 非常 重要 的 监 
测 项 目 。 每 秒 的 请 求 数量 表示 每 秒 内 服务 器 成 功 处 理 的 ASP 请 求 数量 。 执行 时 间 和 等 竺 
时 间 之 和 显示 了 反应 时 间 ， 这 是 服务 器 用 处 理 好 的 页 面 作 应 答 所 需要 的 时 间 。 

可 以 绘 出 随 测试 中 并 发 用 户 数量 的 增加 ， 每 秒 请 求 数量 和 反应 时 间 的 变化 图 。 增 加 
并 发 用 户 数量 时 每 秒 请 求 数量 也 会 增加 。 然 而 ， 我 们 最 终 会 达到 这 样 一 个 点 ， 此 时 并 发 
用 户 数量 开始 “压倒 ”服务 器 。 如 果 继 续 增加 并 发 用 户 数量 ， 每 秒 请 求 数量 开始 下 降 ， 
而 反应 时 间 则 会 增加 。 要 摘 清 楚 硬件 和 软件 的 能 力 ， 找 出 这 个 并 发 用 户 数量 开始 “压倒 ” 
服务 器 的 临界 点 非常 重要 。 

置 入 队列 的 ASP 请 求 数量 也 是 一 个 重要 的 指标 。 如 果 在 测试 中 这 个 数量 有 波动 ， 某 
个 COM 对 象 所 接收 到 的 请 求 数量 超过 了 它 的 处 理 能 力 。 这 可 能 是 因为 在 应 用 的 中 间 层 
使 用 了 一 个 低 效率 的 组 件 ， 或 者 在 ASP 会 话 对 象 中 存储 了 一 个 单线 程 的 单元 组 件 。 
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运行 WAS 的 客户 机 CPU 使 用 率 也 有 必要 监视 。 如 果 这 些 机 器 上 的 CPU 使 用 率 持 
75%， 说 明 客 户 机 没有 足够 的 资源 来 正确 地 运行 测试 ， 此 时 应 该 认为 测试 结果 
不 可 信 。 在 这 种 情况 下 ， 测 试 客户 机 的 数量 必须 增加 ， 或 者 减 小 测试 的 Stress Level。 

每 次 测试 运行 结束 后 WAS 会 生成 详细 的 报表 ， 即 使 测试 被 提前 停止 也 一 样 。WAS 
报表 可 以 从 View 菜单 选择 Reports 查看 。 下 面 介绍 一 下 报表 中 几 个 重要 的 部 分 。 

如 果 这 是 一 个 新 创建 的 测试 脚本 ， 你 应 该 检查 一 下 报表 的 Result Codes 部 分 。 这 部 
分 内 容 包 含 了 请 求 结果 代码 、 说 明 以 及 服务 器 返回 的 结果 代码 的 数量 。 如 果 这 里 出 现 了 
404 代码 (页 面 没 有 找到 )， 说 明 在 脚本 中 有 错误 的 页 面 请 求 。 

页 面 摘要 部 分 提供 了 页 面 的 名 字 ， 接收 到 第 一 个 字 节 的 平均 时 间 《TTFB)， 接 收 到 
最 后 一 个 字 节 的 平均 时 间 (TITLB), 以 及 测试 脚本 中 各 个 页 面 的 命中 次 数 .TTFB 和 TTLB 
这 两 个 值 对 于 计算 客户 端 所 看 到 的 服务 器 性 能 具有 重要 意义 。TTFB 反映 了 从 发 出 页 面 
请 求 到 接收 到 应 答 数 据 第 一 个 字 节 的 时 间 总 和 【以 毫秒 计 )，TTLB 包含 了 TITFB， 它 是 
客户 机 接收 到 页 面 最 后 一 个 字 节 所 需要 的 累计 时 间 。 

报表 中 还 包含 了 所 有 性 能 计数 器 的 信息 。 这 些 数据 显示 了 运行 时 各 个 项 目的 测量 
值 ， 同 时 还 提供 了 最 大 值 、 最 小 值 、 平 均值 等 。 报 表 实 际 提供 的 信息 远 远 超过 了 我 们 这 
里 能 够 介绍 的 内 容 。 为 了 给 你 一 个 有 关 报 表 所 提供 信息 种 类 的 印象 ， 摘 录 了 一 个 报表 实 
例如 图 8-45 所 示 。 
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图 8-45 报表 实例 


~。 SILK PERFORMER V 一 美国 Segue 公司 。 
特点 : 
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在 工具 中 融合 了 功能 测试 的 方法 ， 即 内 容 校 验 。 
思 脚本 采用 PASCAL， 资 源 消耗 较 小 ， 支 持 一 些 底层 访问 。 
@ 错误 可 精确 定位 。 
出 提供 数据 池 模 板 ， 并 可 定制 。 
3. 测试 协议 选择 
协议 这 个 概念 大 家 并 不 陌生 ， 测 试 工具 中 的 “协议 ” 指 的 是 工具 提供 给 我 们 的 测试 
接口 ， 也 可 以 理解 为 测试 类 型 。LoadRunner 提供 的 测试 协议 比较 人 全面， 例如; 
。 应 用 程序 解决 方案 ，Citrix。 
® Client/Server: MS SQL，ODBC，Oracle (2-tier)，DB2 CLI, Sybase Ctlib, Sybase 
Dblib, Windows Sockets 及 DNS。 
e 定制 : C templates, Visual Basic templates; Java templates, JavaScript 及 VBScript。 
e。 分 布 式 组 件 ，COM/DCOM，Corba-Java 及 Rmi -Java。 
es E-business; FTP, LDAP, Palm, SOAP, Web (HTTP/HTIML), Xk the dual 
Web/Winsocket。 
e Enterprise Java Beans: EJB Testing 及 Rmi-Java。 
® ERP/CRM: Baan, Oracle NCA, Peoplesoft-Tuxedo, Peoplesoft 8 Web multilingual, 
SAPGUI, SAP-Web, Siebel (Siebel-DB2CLI，Siebel-MSSQL ，Siebel-Web 友 
Siebel-Oracle )。 
e Legacy: Terminal Emulation (RTE)。 
ea Mailing Services: Internet Messaging (IMAP), MS Exchange (MAPI)，POP3 
及 SMTP。 
e Middleware: Jacada K Tuxedo (6, 7)。 
e Streaming: MediaPlayer 及 RealPlayer。 
e Wireless: i-Mode，VoiceXML 及 WAP。 
这 里 我 们 要 重点 讨论 的 问题 是 选择 测试 协议 的 策略 。 一 个 原则 性 的 观点 是 “客户 端 
与 直接 压力 承受 的 服务 器 之 间 的 通信 协议 是 选择 测试 协议 的 惟一 标准 ”。 例如 ， 有 的 测 
试 工程 师 问 “我 们 的 系统 是 B/S 运行 模式 ， 应 该 选择 什么 样 的 测试 协议 来 测 ”， 我 们 说 
这 是 一 个 无 效 问题 ,为 什么 呢 ? 从 这 个 问题 中 我 们 不 能 获取 任何 与 通信 协议 有 关 的 信息 ， 
B/S 运行 模式 可 以 采用 http 协议 ， 也 可 以 采用 TCP/IP，SMTP、FTP 等 协议 ，C/S 运行 模 
式 也 是 这 个 道理 。 选 择 不 同 的 协议 决定 了 测试 的 成 功 与 失败 。 理 论 知识 要 适用 于 实践 ， 
必须 活 学 活用 。 再 例如 ， 一 个 使 用 非常 普 所 的 系统 : B/S 运行 模式 ， 前 端正 浏览 器 ， 正 
浏览 器 直接 与 Web 服务 器 通信 〈 可 能 多 台 )，Web 服务 器 与 后 台数 据 库 服 务 器 (可 能 多 
台 ) 有 数据 交互 操作 ，IE 浏览 器 与 Web 服务 器 的 通信 协议 采用 http， 那 么 ,理所当然 我 
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们 选择 的 测试 协议 是 http;， 再 灵活 一 些 ， 如 果 IE 浏览 器 与 Web 服务 器 的 通信 不 仅 采 用 
了 http 协议 ， 而 且 还 有 部 分 业务 采用 Winsocket， 那 么 必须 选择 Web/Winsocket 双 协 议 ; 
更 进一步 , 有 些 系统 客户 端 是 C/S 运行 模式 和 B/S 运行 模式 的 混合 , 为 了 达到 测试 目的 ， 
就 要 选择 更 多 的 测试 协议 。 可 喜 的 是 LoadRunner 7.8 版 本 以 后 已 经 能 够 帮 你 实现 这 个 愿 
望 了 。 再 来 看 一 种 情况 : 系统 的 架构 是 客户 端 应 用 程序 十 Tuxedo 消息 中 间 件 (或 者 是 其 
他 中 间 件 ) 十 数据 库 服务 器 。 过 到 这 种 情况 ， 我 们 一 般 会 选择 Tuxedo 测试 协议 ， 能 够 
有 这 样 的 定位 选择 ，BEA 公司 的 产品 Tuxedo 的 市 场 占有 率 给 测试 工具 厂商 带 来 的 压力 
显而易见 。 还 要 跟 大 家 介绍 一 种 普遍 认为 最 “ 惨 ”， 也 最 “ 酷 ” 的 方法 ， 就 是 利用 测试 工 
具 提 供 的 编程 语言 自己 编写 测试 脚本 ， 测 试 工具 提供 的 使 用 广泛 的 测试 脚本 是 CScript、 
JavaScript 及 VBScript。 但 提醒 大 家 的 是 ， 要 做 到 真实 模拟 负载 ， 和 相关 开发 人 员 的 交流 
至 关 重 要 。 

4. 测试 数据 准备 

(1) 测试 数据 概念 

实施 负载 压力 测试 时 ， 需 要 运行 系统 相关 业务 ， 这 时 和 需要 一 些 数据 支持 才 可 运行 业 
务 ， 这 部 分 数据 即 为 初始 测试 数据 。 例 如 ERP 软件 运行 前 财务 账 套 的 准备 。 

在 初始 的 测试 环境 中 需要 输入 一 些 适 当 的 测试 数据 ， 目 的 是 识别 数据 状态 并 且 验 证 
用 于 测试 的 测试 案例 。 在 正式 的 测试 开始 以 前 对 测试 案例 进行 调试 ， 将 正式 测试 开始 时 
的 错误 降 到 最 低 。 在 测试 进行 到 关键 过 程 领域 时 ， 非 常 有 必要 进行 数据 状态 的 备份 。 制 
造 初始 数据 意味 着 将 合适 的 数据 存储 下 来 ， 需 要 的 时 候 恢 复 它 ， 初 始 数据 提供 了 一 个 基 
线 用 来 评估 测试 执行 的 结果 。 

对 系统 实施 负载 压力 测试 的 时 候 ， 经 常会 需要 准备 大 数据 量 、 实 施 独 立 的 测试 ， 或 
者 与 并 发 负载 压力 相 结合 的 性 能 测试 ， 这 部 分 数据 为 业务 测试 数据 。 例 如 飞机 订 票 系统 
查询 订 票 信息 ， 就 需要 准备 大 量 的 订 票 记录 。 又 比如 测试 并 发 查询 业务 ， 那 么 要 求 对 应 
的 数据 库 和 表 中 有 相当 的 数据 量 ， 以 及 数据 的 种 类 应 能 咱 盖 全 部 业务 。 

在 负载 压力 测试 过 程 中 ， 为 了 模拟 不 同 的 虚拟 用 户 的 真实 负载 ， 需 要 将 一 部 分 业务 
数据 参数 化 ， 这 部 分 数据 为 参数 化 测试 数据 。 例 如 模拟 不 同 用 户 登录 系统 ， 就 需要 准备 
大 最 用 户 名 及 相应 密码 参数 数据 。 

还 需要 考虑 特殊 系统 需要 的 测试 数据 ， 模 拟 其 实 环境 测试 ， 有 些 软件 特别 是 面向 大 
众 的 商品 化 软件 ， 在 测试 时 常常 需要 考察 在 真实 环境 中 的 表现 。 如 测试 杀毒 软件 的 扫描 
速度 时 ， 硬 盘 上 布置 的 不 同类 型 文件 的 比例 要 尽量 接近 真实 环境 ， 这 样 测试 出 来 的 数据 
才 有 实际 意义 。 

(2) 为 什么 要 准备 测试 数据 

可 以 概括 为 ; 
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识别 数据 状态 ; 
验证 测试 案例 ; 
初始 数据 提供 了 一 个 基线 用 来 评估 测试 执行 的 结果 ; 
业务 数据 提供 负载 压力 背景 ; 

e 脚本 中 参数 数据 真实 模拟 负载 。 

(3) 依 缉 工具 准备 测试 数据 的 方法 

在 8.2.3 小 节 ， 介 绍 了 依 千 工具 准备 测试 数据 的 方法 。 

5。 自 己 动手 编写 测试 工具 

下 面 通过 列举 两 个 实例 ， 来 了 解 自己 动手 编写 测试 工具 的 思路 。 

(1) 案例 一 ，Web 服务 器 通用 性 能 测试 系统 的 设计 与 实现 

这 个 系统 不 仅 能 够 测试 静态 HTML 页 面 的 响应 时 间 , 而 且 能 够 模拟 真实 运行 情况 测 
试 动态 网 页 (包括 ASP、PHP、JSP 等 ) 的 响应 时 间 ， 为 服务 器 的 性 能 优化 和 调整 提供 
数据 依据 。 

为 了 能 够 模拟 大 量 用户 同 时 访问 Web 动态 页 面 的 情况 ， 必 须要 解决 下 面 两 个 问题 ; 

s 测试 工具 需要 模拟 出 大 量 用 户 同 时 访问 Web 的 情况 ; 

。 测试 工具 需要 模拟 出 单个 用 户 访问 Web 时 个 性 化 的 请 求 参数 。 

本 性 能 测试 系统 主要 由 两 部 分 构成 性 能 测试 数据 文件 和 性 能 测试 程序 。 其 中 ， 人 性 
能 测试 数据 文件 包含 着 用 户 访问 Web 的 URL 请 求 格 式 和 大 量 用 户 访问 系统 的 请 求 数据 
(例如 用 户 名 和 密码 等 )。 实 际 测试 中 ， 性 能 测试 程序 将 开设 多 个 进程 模拟 大 重用 户 对 
Web 的 访问 ， 每 个 进程 从 性 能 测试 数据 文件 中 随机 地 读 出 一 组 访问 数据 ， 然 后 发 起 对 
Web 服务 器 的 访问 ,等待 Web 服务 器 应 答 。 测 试 结束 后 ， 性 能 测试 程序 将 给 出 对 于 所 有 
请 求 的 平均 系统 响应 时 间 。 由 此 ， 本 性 能 测试 工具 能 够 芮 实地 模拟 大 重用 户 同 时 访问 
Web 的 情况 。 

在 实际 运行 的 Web 应 用 系统 中 ,用户 访问 动态 页 面 时 传递 的 query 字符 串 中 的 参数 
是 互 不 相同 的 。 为 了 通 真 地 模拟 实际 情况 ， 性 能 测试 系统 应 该 在 一 段 特 定 的 时 间 内 ， 对 
待 测 页 面 同时 发 送 多 个 请 求 ， 每 个 请 求 的 query 参数 互 不 相同 ， 在 发 送 的 同时 开始 计时 ， 
直到 收 到 系统 的 响应 ， 计 时 停止 ， 最 后 对 所 有 请 求 的 响应 时 间 进 行 分 析 ， 就 可 以 得 到 系 
统 性 能 的 定量 估计 。 系 统 结构 如 图 8-46 所 示 。 

实际 系统 由 四 部 分 组 成 : 

e 模板 文件 。 

e。 数据 文件 。 

。 性 能 测试 程序 。 

se。 结果 处 理 程序 。 
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模板 文件 为 纯 文本 文件 ， 包 含 单个 用 户 访 问 Web 发 送 的 URL， 每 行 格 式 如 下 : 
GET(POST) http://host:port/path/filename?xxx=@1@&@2@ 


模板 文件 数据 文件 


读 模板 文件 
读 入 随机 数据 
性 能 测 并 发 进程 1 发 送 请 求 | | 接收 响应 | 下 一 个 会 话 
试 系 纳 开始 计时 计时 结束 
并 发 进程 2 
并 发 进程 c 


图 8-46 系统 结构 示意 图 


其 中 GET 或 者 POST 表示 参数 传递 的 方式 , query 字符 串 中 的 @ 是 本 系统 特 设 字符 ， 
表示 @ 及 其 后 面 的 数字 需要 被 数据 文件 中 对 应 的 参数 数据 所 取代 。 两 个 @ 之 间 为 参数 序 
号 ， 只 能 为 数字 ， 在 整个 模板 文件 中 相同 的 参数 序号 代表 相同 的 参数 。 

数据 文件 是 用 户 访问 动态 页 面 时 传递 的 query 参数 集合 ， 为 纯 文 本 文件 ， 参 数 数据 
与 模板 文件 中 @ 号 及 其 后 面 的 数字 相对 应 ， 之 间 用 空格 隔 开 ， 每 组 一 行 。 

测试 Web 应 用 系统 时 ， 性 能 测试 程序 将 开设 ce 个 进程 ， 每 个 进程 可 以 串 行 地 开设 n 
个 会 话 ， 每 个 会 话 模拟 一 个 真实 用 户 ， 按 照 模板 文件 中 提供 的 访问 Web 系统 的 格式 ， 从 
数据 文件 中 读 取 一 组 query 参数 ,然后 对 Web 系统 发 起 请 求 ; 与 此 同时 , 程序 开始 计时 ， 
直到 收 到 系统 的 响应 ， 计 时 停止 ， 系 统统 计 接 收 的 字 节 数 ， 将 结果 写 入 结果 文件 ， 本 次 
会 话 结束 ， 这 个 进程 开始 一 个 新 的 会 话 ， 如 此 循环 n 次。 测试 结束 后 ， 结 果 处 理 程 序 对 
结果 文件 中 每 个 请 求 的 响应 时 间 进 行 统计 分 析 ， 给 出 系统 的 综合 性 能 评估 。 

从 上 面 的 分 析 可 以 看 出 ， 本 系统 发 送 请 求 的 并 发 度 是 c， 即 在 测试 的 时 间 段 内 ， 对 
Web 应 用 系统 同时 发 送 的 请 求 有 ec 个 ;本 系统 发 送 请 求 的 串 行 度 为 n， 一 共 可 以 模拟 
cXn 个 用 户 对 系统 的 访问 。 

性 能 测试 程序 流程 如 图 8-47 所 示 。 

如 图 8-47 所 示 ，, 性 能 测试 程序 fork 出 c 个 进程 ， 每 个 进程 都 开设 一 个 Socket, 通过 
Socket 向 Web 服务 器 发 送 请求 。 为 了 使 测试 程序 能 够 快速 地 向 服务 器 发 送 请 求 ， 程 序 一 
开始 就 将 数据 文件 中 的 所 有 数据 读 入 内 存 ， 数 据 使 用 一 个 二 维 数 组 存放 。 


www.TopSage.com 


298 软件 评测 师 教程 
模板 文件 中 的 请 求 格式 在 程序 开始 时 读 入 模板 数据 结构 中 ， 模 板 数据 结构 定义 如 下 : 


| 。 读 入 数据 文件 生成 请 求 字 符 串 
ee | 二 

将 模板 文件 读 入 从 数据 二 维 数组 | | 连接 Web 服务 器 
模板 数据 结构 中 读 取 随机 数据 

超时 

停止 计时 ， 计 算 


总 连接 时 间 和 接 
收 字 节 数 


] , 结果 记 入 文件 ， 
,| 者 超时 记 为 ~1 


Fork 子 进 四 


4 


图 8-47 主 程 序 流程 
struct tag Template { 
int count; / 本 模板 中 共 包含 的 讲求 个 数 
char *method; 1/ 各 请 求 发 送 的 方法 ，0= GET，1= POST， 
char **host; / 各 请 求 发 送 的 目的 主机 名 
int *port; / 各 请 求 发 送 的 目的 主机 端口 号 
char **path; / 各 请 求 要 求 的 路 径 文件 名 
char **paramstr; 1/ 各 请 求 包含 的 参数 


TEMPLATE; 


测试 程序 运行 结束 后 ， 生 成 的 结果 文件 包含 着 Web 服务 器 对 每 个 请 求 的 响应 时 间 ， 
还 包含 每 个 请 求 返回 的 字 节 数 。 结 果 文 件 由 结果 处 理 程序 处 理 ， 计 算出 Web 服务 器 对 所 
有 请 求 的 平均 响应 时 间 。 

(2) 案例 二 : 通用 应 用 系统 性 能 评测 环境 设计 

大 家 知道 LoadRunner 通过 运行 脚本 模拟 的 方法 仍然 与 应 用 系统 的 实际 处 理 逻 辑 存 
在 一 定 的 差异 ， 因 此 其 评测 结果 与 应 用 系统 实际 使 用 过 程 中 的 性 能 指标 之 间 仍 然 存在 一 
定 的 差距 。 为 了 弥补 这 个 缺陷 ， 和 需要 一 种 适用 于 特定 应 用 的 运行 模拟 和 性 能 评测 方法 与 
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支撑 环境 ， 来 对 应 用 系统 的 实际 性 能 评测 提供 有 效 芝 和 持 。 这 里 提出 的 通用 应 用 系统 性 能 
评测 环境 ， 是 通过 并 行 执行 分 布 于 不 同 客户 机 上 的 多 种 类 型 的 实际 应 用 程序 代码 ， 模 拟 
一 个 应 用 系统 在 多 个 客户 端 并 发 访问 情况 下 的 实际 运行 情况 ， 同 时 对 应 用 程序 代码 的 执 
行 状态 和 结果 等 信息 进行 记录 在 模拟 执行 完成 之 后 ， 对 执行 记录 进行 分 析 ， 给 出 被 测 
系统 的 性 能 指标 。 应 用 系统 性 能 评测 环境 主要 由 应 用 逻辑 运行 模拟 代理 (PexpAgent)、 
模拟 控制 中 心 (PexpCmdCenter)、 数 据 搜集 器 《Data Coilector) 和 统计 分 析 工 具 等 部 分 
组 成 ， 其 系统 结构 如 图 8-48 所 示 。 其 中 ， 应 用 逻辑 运行 模拟 代理 负责 驱动 执行 被 测 系统 
的 应 用 逻辑 代码 ， 并 记录 每 一 次 执行 的 状态 和 性 能 相关 信息 。 横 拟 控制 中 心 负责 控制 整 
个 性 能 评测 过 程 中 的 所 有 运行 模拟 代理 。 数 据 搜集 器 负责 在 测 最 完成 之 后 ， 接 收 来 目 运 
行 模拟 代理 的 性 能 测量 数据 。 统 计 分 析 工 具 负 责 对 测量 获得 的 性 能 相关 数据 进行 分 析 ， 
从 而 得 出 被 测 系统 的 相关 性 能 数据 。 在 评测 过 程 中 ， 运 行 模 拟 代 理 与 控制 中 心 之 间 通 过 
基于 对 象 传输 的 专用 网 络 通信 接口 (Performance Network) 进行 通信 ;由 于 应 用 系统 的 
实际 运行 环境 各 异 ， 评 测 系统 被 设计 成 能 够 运行 在 多 种 操作 系统 平台 上 ， 所 有 其 他 组 件 
的 下 层 是 操作 系统 相关 调用 抽象 层 ， 对 于 不 同 的 操作 系统 平台 ， 需 要 实现 相应 的 实际 处 
理 对 象 。 


应 用 性 能 统计 分 析 工 具 集 。 
、 ”数据 搜集 器 


ae 
[Ld 
gm pt -” 
Gp i ee 
a had 


es “ee 
~、 
应 用 逻辑 运行 模拟 代理 应 用 逻辑 运行 模拟 代理 
专用 网 络 通讯 接口 
Performance Network Performance Network 
(TCP Server) (TCP Client) 
操作 系统 相关 调用 抽象 层 


网 络 通 讯 进程 与 线程 管理 


图 8-48 ”系统 结构 图 


由 于 我 们 的 目的 是 通过 模拟 真实 的 并 发 环境 来 获取 系统 的 实际 性 能 ， 在 设计 与 实现 
上 需要 充分 考虑 如 下 问题 ， 并 加 以 解决 : 


文件 访问 


www.TopSage.com 


300 软件 评测 师 救 程 


应 用 系统 实际 处 理 代码 的 验 入 方式 和 响应 时 间 的 测定 ; 
控制 中 心 对 运行 模拟 代理 的 有 效 控制 ; 
多 操作 系统 平台 支持 与 评测 系统 本 身 的 执行 效率 
可 扩展 性 。 
6。 准备 过 程 中 与 用 户 交 流 
做 为 第 三 方 测试 机 构 ， 在 负载 压力 测试 准备 的 过 程 中 ， 经 常 需要 与 用 户 交 流 ， 那 么 
交流 哪些 内 容 呢 ? 概括 如 下 。 
。 ”系统 的 运行 模式 ; 
。 系统 运行 的 硬件 环境 和 软件 环境 ， 包 括 客户 端 、 中 间 件 、Web 服务 器 、 应 用 服 
务 器 、 数 据 库 服务 器 等 ; 
系统 网 络 架构 ; 
系统 主要 功能 模块 以 及 主要 功能 需求 ; 
系统 主要 性 能 需求 ， 例 如 并 发 、 疲 劳 、 大 数量 等 ; 
系统 未 来 发 展 功能 需求 和 性 能 需求 : 
系统 网 络 容量 规划 等 。 


8.4.6 ”测试 脚本 录制 、 编 写 与 调试 


测试 脚本 指 Vuser 脚本 ， 即 虚拟 用 户 回放 所 使 用 的 脚本 。 脚 本 的 产生 可 以 采用 录制 、 
编写 或 者 录制 加 编写 混合 模式 ， 初 始 生成 的 脚本 经 过 增强 编辑 之 后 ， 必 需 再 经 调试 才 
可 用 。 


Vuser 脚 本 的 结构 和 内 容 因 Vuser 类 型 的 不 同 而 不 
同 。 例如， 数据 库 Vuser 脚本 总 是 包含 三 部 分 ， 是 在 | / 
一 段 类 似 C 语 言 并 且 包 括 对 数据 库 服 务 器 的 SQL 调 用 
并 且 是 用 TSL (测试 脚本 语言 ) 编写 的 。 图 8-49 概述 
了 开发 Vuser 脚本 的 过 程 。 
首先 ， 来 了 解 录制 脚本 。 在 一 般 的 测试 过 程 中 ， 


录制 脚本 所 占 比例 较 大 ， 测 试 工具 提供 了 大 量 录制 


Vuser 脚本 的 工具 , 并 且 可 以 通过 将 控制 流 结构 和 其 他 


测试 工具 的 API 添加 到 脚本 中 来 增强 该 基本 脚本 。 然 
后 ， 配 置 运行 时 设置 。 运 行 时 设置 包括 迭代 、 日 志和 
计时 信息 以 及 定义 Vuser 在 执行 Vuser 脚本 时 的 行为 。 ~- 


要 验证 脚本 是 否 能 正确 运行 ， 请 以 单独 模式 运行 该 脚 ”图 8-49 开发 Vuser 脚本 的 过 程 
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本 。 如 果 脚 本 运行 正确 ， 则 将 其 合并 到 方案 中 。 

那么 ， 录 制 哪些 内 容 呢 ? 主要 录制 用 户 在 客户 端 应 用 程序 中 执行 的 典型 业务 流程 。. 
测试 工具 通过 录制 客户 端 和 服务 器 之 间 的 活动 来 创建 脚本 。 例如 , 在 数据 库 应 用 程序 中 ， 
测试 工具 的 脚本 生成 器 (VuGen) 会 监控 数据 库 的 客户 端 ， 并 跟踪 发 送 到 数据 库 服务 器 
和 从 数据 库 服务 器 接收 的 所 有 请 求 。 如 图 8-50 所 示 为 录制 活动 创建 脚本 。 


图 8-$0 ”录制 活动 创建 脚本 


用 VuGen 创建 的 每 个 Vuser 脚本 都 可 以 通过 执行 对 服务 器 API 的 调用 来 直接 与 服务 
器 通信 ， 而 不 需要 依赖 客户 端 软件 。 这 样 ， 便 可 以 使 用 Vuser 来 检查 服务 器 性 能 (甚至 
在 客户 端 软件 的 用 户 界 面 完 全 开发 好 之 前 )。 如 图 8-51 所 示 为 API 调用 生成 脚本 。 


i 一 一 卡 , 


运行 应 用 程序 
的 客户 端 最 务 器 


图 8-51 API 调用 生成 脚本 


此 外 ， 当 Vuser 与 服务 器 直接 通信 时 ， 不 需要 在 用 户 界面 中 耗费 系统 资源 。 这 样 就 
可 以 在 一 个 工作 站 中 同时 运行 大 量 Vuser， 进 而 可 以 使 用 很 少 的 测试 计算 机 来 模拟 非常 
大 的 服务 器 负载 。 

测试 工具 都 留 有 手工 编写 脚本 的 入 口 ， 例 如 C script、Java script、VB 以 及 汇编 语言 
等 ， 并 且 提供 相应 测试 类 型 的 API， 测 试 人 员 在 此 环境 下 可 以 编程 生成 脚本 。 

脚本 的 调试 也 是 非常 重要 的 工作 ， 例 如 我 们 要 调试 C/S 脚本 ， 那 么 应 该 注意 些 什 
么 呢 ? 

对 于 C/S 结构 的 脚本 ， 在 数据 量 大 时 ， 脚 本 非常 庞大 ， 如 果 全 部 看 一 遍 ， 根 本 是 不 
可 能 的 。 对 于 这 种 脚本 的 调试 ， 应 注意 以 下 几 个 方面 。 

。 动态 数据 的 处 理 。 

我 们 经 常会 碰 到 某 个 表单 的 编号 是 记录 在 另 一 个 表 中 的 ， 程 序 通过 查询 这 个 表 ， 并 
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加 1 来 获取 到 这 个 编号 。 对 于 这 种 问题 ， 可 以 分 解 为 以 下 3 步 ( 以 ORACLE 数据 库 为 例 )。 

(D 获取 数据 ， 可 使 用 lIrd_ora8 save col 函数 。 

包 函数 值 加 1 处 理 ， 可 使 用 Ir_param_increment 函数 。 

四 替换 处 理 ， 即 把 Update 中 的 具体 值 替换 为 我 们 获取 并 处 理 好 的 参数 就 可 以 了 。 

e。 参数 化 过 程 。 

这 一 过 程 ， 我 们 所 关注 的 ， 不 过 是 Insert 及 Update 语句 。 将 这 些 语句 中 违反 数据 库 
约束 的 地 方 进行 参数 化 就 可 以 了 。 而 且 仅 关注 这 些 语句 ， 基 本 上 就 可 以 搞 消 楚 璇 个 程序 
的 处 理 流程 。 理 消 关 系 ， 作 参数 时 直接 Replace All (录制 脚本 时 注意 使 用 的 数据 最 好 有 
特点 ， 这 样 替 换 过 程 中 就 不 会 把 不 该 奉 换 的 也 替换 了 ) 就 可 以 了 。 


8.4.7 ”场景 制定 


1. 创建 Vuser 组 

方案 由 Vuser 组 构成 ，Vuser 模拟 与 应 用 程序 进行 交互 的 实际 用 户 。 运 行 方案 时 ， 
Vuser 会 在 服务 器 上 生成 负载 ， 测 试 工具 会 监视 服务 器 和 事务 性 能 。Vuser 组 用 于 将 方案 
中 的 Vuser 组 织 成 可 管理 的 组 。 可 以 创建 包含 具有 共享 或 相似 特征 的 Vuser 的 Vuser 组 。 
例如 ， 可 以 为 运行 相同 Vuser 脚本 的 所 有 Vuser 创建 Vuser 组 。 

2， 配置 Vuser 组 中 的 Vuser 

可 以 为 定义 的 Vuser 组 中 的 各 个 Vuser 定义 属性 。 对 于 每 个 Vuser， 可 以 分 配 不 同 的 
脚本 和 负载 生成 器 计算 机 。 

3， 配 置 Vuser 运行 时 的 设置 

可 以 设置 脚本 的 运行 时 设置 ， 采 用 在 控制 中 心 自 定 义 执行 Vuser 脚本 的 方式 。 

4. 配置 负载 生成 器 

在 测试 执行 之 前 ， 需 要 配置 方案 的 负载 生成 器 和 Vuser 行为 ， 即 制定 场景 。 昌 然 默 
认 设 置 与 大 多 数 环境 对 应 ， 但 是 LoadRunner 允许 修改 这 些 设置 以 便 自 定 义 方案 行为 。 
这 些 设置 适用 于 所 有 未 来 的 方案 运行 并 且 通 党 只 需 设置 一 次 。 这 一 类 设置 适用 于 方案 中 
所 有 的 负载 生成 器 。 如 果 全 局 方案 设置 与 单个 负载 生成 器 的 设置 不 同 ， 则 负载 生成 器 设 
置 将 替代 它们 。 

可 以 指出 哪些 负载 生成 器 将 在 方案 中 运行 Vuser。 例 如 ， 如 果 某 个 负载 生成 器 不 适 
用 于 特定 方案 ， 可 以 暂时 排除 此 负载 生成 器 。 如 果 要 隔离 特定 计算 机 以 测试 其 性 能 ， 则 
禁用 负载 生成 器 相当 有 用 。 

可 以 为 各 个 负载 生成 器 配置 附加 设置 。 可 以 配置 的 设置 有 ; 状态 、 运 行 时 文件 存储 、 
UNIX 环境 、 运 行 时 配额 、Vuser 状态 、Vuser 限制 、 连 接 日 志 (专家 模式 )、 防 火 墙 和 
WAN 仿真 。 
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S$. 配置 终端 服务 设置 

可 以 使 用 终端 服务 管理 器 ， 来 远程 管理 在 终端 服务 器 上 的 、 负 载 测 试 方案 中 运行 的 
多 个 负载 管理 器 。 此 外 ， 可 以 使 用 终端 服务 器 克服 只 能 在 基于 Windows 的 负载 生成 器 
上 运行 单个 GUI Vuser 的 局 限 性 。 通 过 为 每 个 GUI Vuser 打开 一 个 终端 服务 器 会 话 ， 可 
以 在 同一 应 用 程序 上 运行 多 个 GUI Vuser。 

使 用 终端 服务 ， 可 以 集中 管理 连接 到 服务 器 的 每 个 客户 端的 计算 资源 ， 并 为 每 名 用 
户 提供 他 们 自己 的 工作 环境 。 使 用 终端 服务 器 客户 端 ， 可 以 通过 远程 计算 机 在 基于 服务 
器 的 计算 环境 中 操作 。 终 端 服务 器 通过 网 络 传送 应 用 程序 ， 并 通过 终端 仿真 软件 显示 它 
们 。 每 个 用 户 会 登录 并 只 会 看 到 他 们 各 自 的 会 话 ， 服 务 器 操作 系统 以 透明 的 方式 将 该 会 
话 独 立 于 其 他 任何 客户 端 会 话 进行 管理 。 检查 如 图 8-52 所 示 的 测试 工具 组 件 协 同 工 作 可 
以 了 解 测 试 工具 组 件 在 终端 会 话 期 间 如 何 协 同 工 作 。 图 8-52 为 测试 工具 组 件 协同 工作 


示意 。 
2 
提名 古色 自 生生 
seeeseease 


测试 的 应 用 程序 


图 8.52 ”测试 工具 组 件 协同 工作 


终端 服务 器 客户 疾 可 以 同时 运行 多 个 终 问 会 话 。 使 用 终 问 服务 管理 器 ， 可 以 选择 要 
在 方案 中 使 用 的 终端 数量 〈 如 果 有 足够 的 终端 会 话 在 运行 ) 以 及 每 个 终端 可 以 运行 的 最 
大 Vuser 数 。 这 样 ， 终端 服务 管理 器 便 可 以 在 客户 端 会 话 间 均匀 地 分 配 虚拟 用 户 的 数量 。 
使 用 终端 服务 管理 器 可 以 做 到 以 下 几 点 。 

。 在 负载 生成 器 计算 机 上 设置 终端 服务 器 代理 ; 

。 在 控制 中 心计 算 机 上 启动 终端 客户 端 会 话 ; 

e 使 用 终端 服务 管理 器 在 终端 服务 器 上 分 配 Vuser。 

6. 配置 WAN 仿真 设置 

可 以 使 用 Shunra WAN 仿真 器 在 负载 测试 方案 中 模拟 各 种 网 络 基础 结构 的 行为 。 使 
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用 WAN 仿真 ， 可 以 在 部 署 前 模拟 并 测试 广域网 (WAN) 对 最 终 用 户 响 应 时 间 和 性 能 的 
影响 。 

使 用 WAN 仿真 ， 可 以 在 测试 环境 中 准确 地 测试 实际 网 络 条 件 下 WAN 部 署 产品 的 
点 到 点 的 性 能 。 通 过 引入 极为 可 能 发 生 的 WAN 影响 (如 局 域 网 中 的 滞后 时 间 、 包 丢失 、 
链 路 故障 和 动态 路 由 等 影响 )， 可 以 描绘 WAN 云图 的 许多 特征 ， 并 在 单一 网 络 环境 中 有 
效 地 控制 仿真 。 可 以 在 WAN 仿真 监视 报告 中 观察 仿真 设置 对 网 络 性 能 的 影响 。 

7. 配置 脚本 

为 Vuser 或 Vuser 组 选择 了 脚本 后 ， 可 以 编辑 脚本 或 查看 所 选 脚本 的 详细 信息 。 
8.4.8 ”测试 执行 

1。 运 行 场景 

运行 场景 时 ， 会 为 Vuser 组 分 配 负 载 生 成 器 并 执行 它们 的 Vuser 脚本 。 在 场景 执行 
期 间 ， 将 要 完成 以 下 工作 ; 

e 记录 在 Vuser 脚本 中 定义 的 事务 的 持续 时 间 ， 

e 执行 包括 在 Vuser 脚本 中 的 集合 ; 

e ”收集 Vuser 生成 的 错误 、 警 告 和 通知 消息 。 

可 以 在 无 人 干预 的 情况 下 运行 整个 场景 ， 或 者 可 以 交互 地 选择 要 运行 的 Vuser 组 和 
Vuser。 场 景 开始 运行 时 ，Controller 会 首先 检查 场景 配置 信息 。 接 着 ， 它 将 调用 已 选 定 
与 该 场景 一 起 运行 的 应 用 程序 。 然 后 ， 它 会 将 每 个 Vuser 脚本 分 配给 其 指定 的 负载 生成 
器 。Vuser 组 就 绪 后 ， 它 们 将 开始 执行 其 脚本 。 

在 场景 运行 时 ， 可 以 监视 每 个 Vuser， 查 看 由 Vuser 生成 的 错误 、 营 告 和 通知 消息 以 
及 停止 Vuser 组 和 各 个 Vuser。 可 以 允许 单个 Vuser 或 组 中 的 Vuser 在 停止 前 完成 它们 正 
在 运行 的 迭代 ， 在 停止 前 完成 它们 正在 运行 的 操作 或 者 立即 停止 运行 ， 还 可 以 在 场景 运 
行 时 激活 其 他 Vuser。 在 下 面 情况 下 ， 场 景 将 结束 : 所 有 Vuser 已 完成 其 脚本 、 持 续 时 间 
用 完 或 者 终止 场景 。 以 下 过 程 概述 如 何 运 行 场景 。 

e。 打开 现 有 场 最 或 新 建 一 个 场景 ; 

se .配置 并 计划 场景 ; 

e。 设置 结果 目录 ; 

。 运行 并 监视 场景 。 

2. 在 执行 期 间 查 看 Vuser 

可 以 在 场景 执行 期 间 查 看 Vuser 的 活动 ; 

e。 在 Controller 负载 生成 器 计算 机 中 ， 可 以 查看 输出 窗口 ， 联 机 监视 Vuser 性 能 以 

及 查看 执行 场景 的 Vuser 的 状态 ; 
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。 在 远程 计算 机 中 ， 可 以 查看 包含 活动 Vuser 鸭 入 交合 息 的 代理 摘要 。 

3. 监视 场景 

工具 一 般 提 供 下 列 联机 监视 器 : 

。 “运行 时 ”监视 器 显示 参与 场景 的 Vuser 的 数 目 和 状态 ， 以 及 Vuser 所 生成 的 错 
误 数量 和 类 型 。 此 外 还 所 供用 户 定义 的 数 活 点 图 ， 其 中 显示 Vuser 脚本 中 的 用 
户 定义 点 的 实时 值 。 

。 “事务 ” 监视 器 显示 场景 执行 期 间 的 事务 速率 和 响应 时 间 。 

。 “Web 资源 ”监视 器 用 于 度量 场景 ; 运行 期 间 Web 服务 器 上 的 统计 信息 。 它 提供 
关于 场景 So Web 连接 、 吞 吐 量 、HTTP 响应 、 服务 器 重 试 和 下 载 页 的 
数据 。 

e “系统 资源 监视 器 测量 场景 运行 期 间 使 用 的 Windows、UNIX、TUXEDO、 
SNMP 和 Antara FlameThrower 资源 。 要 激活 系统 资源 监视 器 ， 必 须 在 运行 场 
景 之 前 设置 监视 器 选项 。 

。 “网 络 延迟 ”监视 器 显示 关于 系统 上 的 网 络 延 迟 的 信息 。 要 激活 网 络 延迟 监视 
器 ， 必 须 在 运行 场景 之 前 设置 要 监视 的 网 络 路 径 。 

se。 “防火墙 ” 监视 器 用 于 度量 场景 运行 期 间 防 火 墙 服务 器 上 的 统计 信息 。 要 激活 
防火 墙 监视 器 ， 必 须 在 运行 场景 之 前 设置 要 监视 的 资源 列表 。 

e “Web 服务 器 资源 "监视 器 用 于 度量 场景 运行 期 间 Apache、Microsof IIS iPlanet 
(SNMP) 和 iPlanet/Netscape Web 服务 器 上 的 统计 信息 。 要 激活 该 监视 器 ， 必须 
在 运行 场景 之 前 设置 要 监视 的 资源 列表 。 

。 “Web 应 用 程序 服务 器 资源 ”监视 器 用 于 度量 场景 运行 期 间 Web 应 用 程序 服务 
器 上 的 统计 信息 。 要 激活 该 监视 器 , 必须 在 运行 场景 之 前 设置 要 监视 的 资源 列表 。 

。 “数据 库 服务 器 资源 ”监视 器 用 于 度量 与 SQL Server、Oracle、Sybase 和 DB2 

”数据 库 有 关 的 统计 信息 。 要 激活 该 监视 器 ， 必 须 在 运行 人 作风 
度量 列表 。 

。 “ 流 媒体 ”监视 器 用 于 度量 Windows Media 服务 器 、RealPiayer 音频 /视频 服务 
器 及 RealPlayer 客户 端 上 的 统计 信息 。 要 激活 该 监视 器 ， 必须 在 运行 场景 之 前 

-设置 要 监视 的 资源 列表 。 

”.。 “ERP/CRM 服务 器 资源 ” 监视 器 用 于 度量 场景 运行 期 间 SAP R/3 系统 服务 器 、 

SAP Portal、Siebel Web 服务 器 和 Siebel Server Manager 服务 器 的 统计 信息 。 要 
激活 该 监视 器 ， 必 须 在 运行 场景 之 前 设置 要 监视 的 资源 列表 。 

”“。 Java 性 能 ”监视 器 用 于 度量 Java 2 Platform, Enterprise Edition(J2EE) 对 象 及 

使 用 J2EE 和 EJB 服务 器 计算 机 的 Enterprise Java Bean (EJB) 对 象 的 统计 信息 。 
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要 激活 该 监视 器 ， 必 须 在 运行 场景 之 前 设置 要 监视 的 资源 列表 。 
。 “应 用 程序 部 署 解决 场景 ”监视 器 用 于 度量 场景 运行 期 间 Citrix MetaFrame XP 
和 1.8 服务 器 的 统计 信息 。 要 激活 该 监视 器 ， 必 须 在 运行 场景 之 前 设置 监视 器 
选项 。 
se。 “中 间 件 性 能 ”监视 器 用 于 度量 场景 运行 期 间 TUXEDO 和 IBM WebSphere MQ 
服务 器 上 的 统计 信息 。 要 激活 该 监视 器 ， 必 须 在 运行 场景 之 前 设置 要 监视 的 资 
源 列表 。 
se。 所 有 的 监视 器 所 收集 的 数据 都 可 以 生成 该 监视 器 的 图 。 
有 些 工 具 也 提供 远程 性 能 监控 。 
在 负载 测试 运行 过 程 中 ， 远 程 性 能 监视 器 可 以 查看 特定 的 图 ， 这 些 图 显示 Vuser 在 
服务 器 上 生成 的 负载 的 信息 。 用 户 在 连接 到 Web 服务 器 的 Web 浏览 器 上 查看 负载 测试 
数据 。 如 图 8-53 所 示 为 利用 远程 性 能 监视 器 查看 负载 测试 数据 。 


图 8-53 ”利用 远程 性 能 监视 器 查看 负载 测试 数据 


远程 性 能 监视 器 服务 器 包含 一 个 用 ASP 页 实现 的 网 站 , 以 及 一 个 包含 负载 测试 图 的 
文件 服务 器 。 它 与 Controller 联机 组 件 进行 交互 ， 并 技 相 应 的 许可 证 处 理 同时 查看 负载 
测试 的 用 户 数 。 


8.4.9 ”获取 测试 结果 : 


在 场景 执行 期 间 ，Vuser 会 在 执行 事务 的 同时 生成 结果 数据 。 要 在 测试 执行 期 间 监 
视 场景 性 能 ， 可 以 使 用 联机 监视 工具 。 要 查看 测试 执行 之 后 的 结果 摘要 , . 可 以 使 用 下 列 
一 个 或 多 个 工具 。 
e “Wuser 日 志文 件 ” 包含 对 每 个 Vuser 运行 的 场景 的 完整 跟踪 。 这 些 文件 位 于 方 
案 结 果 目 录 中 (在 以 独立 模式 运行 Vuser 脚本 时 ， 这 些 文件 放 在 Vuser 脚本 目 
. 录 中 )。 
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。 “Controller 输出 ”窗口 显示 有 关 场 景 运行 的 信息 。 如 果 场 景 运行 失败 ， 可 以 在 
该 窗口 中 查找 调试 信息 。 

。 “Analysis 图 ”有 助 于 确定 系统 性 能 并 提供 有 关 事 务 和 Vuser 的 信息 。 通过 合并 
几 个 场景 的 结果 或 者 将 几 个 图 合并 成 一 个 图 ， 可 以 对 多 个 图 进行 比较 。 

e。 “图 数据 ”视图 和 “原始 数据 ”视图 以 电子 表格 格式 显示 用 于 生成 图 的 实际 数 
据 。 可 以 将 这 些 数 据 复制 到 外 部 电子 表格 应 用 程序 ， 以 进行 进一步 处 理 。 

。 “报告 ”实用 程序 允许 查看 每 个 图 的 摘要 HTML 报告 或 各 种 性 能 和 活动 报告 。 
可 以 将 报告 创建 成 Microsof Word 文档 ， 它 会 自动 以 图 形 或 表格 形式 总 结 和 显 
示 测 试 的 重要 数据 。 

工具 的 结果 分 析 功 能 是 有 限 的 ， 要 定位 问题 测试 ， 工 程 师 的 经 验 和 智 惹 应 该 起 到 很 

大 的 作用 。 如 何 定位 问题 ,“ 测 试 实 例 ” 部 分 有 案例 介绍 。 


8.4.10 ”结果 评估 与 测试 报告 


1. 交易 处 理性 能 评估 

交易 处 理性 能 评估 指标 主要 包括 ， 

e。 并 发 用 户 数 。 

并 发 用 户 数 是 负载 压力 测试 的 主要 指标 ， 体现 了 系统 能 够 承受 的 并 发 性 能 。 

测试 重点 得 到 两 类 并 发 用 户 数 指标 ， 一 类 是 系统 最 佳 性 能 的 并 发 用 户 数 ， 另 一 类 是 
系统 能 够 承受 的 最 大 并 发 用 户 数 ， 这 两 类 指标 在 某 种 情况 下 有 可 能 重 登 。 

e 交易 啊 应 时 间 。 

该 指标 描述 交易 执行 的 快慢 程度 ， 这 是 用 户 最 直接 感受 到 的 系统 性 能 ， 也 是 故障 定 
位 迫切 需要 解决 的 问题 。 

。 交易 通过 率 。 

指 每 秒 钟 能 够 成 功 执 行 的 交易 数 ， 描 述 系 统 能 够 提供 的 “产量 ”， 用 户 可 以 以 此 来 
评估 系统 的 性 能 价格 比 。 

。 瑟 吐 量 。 

指 每 秒 通过 的 字 节 数 ， 以 及 通过 的 总 字 节 数 。 此 指标 在 很 大 程度 上 影响 系统 交易 的 
响应 时 间 ， 形 成 啊 应 时 间 的 “拐点 ”。 

。 点 击 率 。 

描述 系统 响应 请 求 的 快慢 。 

2. 资源 占用 性 能 评估 

和 尖 占 用 主要 及 服务 器 扩 作 系 统 资源 占 用 数据 库 资 源 占用 、 中 间 件 资源 占用 等 
内 容 ， 下 面 分 别论 述 。 
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(1) 服务 器 操作 系统 资源 占用 
通过 《负载 压力 测试 指标 》 章 节 的 讨论 ， 可 以 将 服务 器 操作 系统 资源 占 A 
概括 为 以 下 几 个 方面 : 
@ CPU。 
@ 磁盘 管理 。 
@ 内 存 。 
@ 交换 区 SWAP。 
加 进程 。 
安全 控制 。 
人 文件 系统 。 
下 面 举 例 对 某 些 指标 进行 分 析 。 
s Memory: 内 存 使 用 情况 可 能 是 系统 性 能 中 二 重要 的 因 聚 。 如 果 系 统 “ 页 交换 ” 
频 回 ,说 明 内 存 不 是 。“ 页 交换 ”是 使 用 称 为 “页 面 ” 的 单位 ， 将 固定 大 小 的 代 
码 和 数据 块 从 RAM 移动 到 磁盘 的 过 程 ， 其 目的 是 为 了 释放 内 存 空间 。 尽 管 某 
些 页 交换 使 Windows 2000 能 够 使 用 比 实际 更 多 的 内 存 ， 也 是 可 以 接受 的 , 但 频 
繁 的 页 交换 将 降低 系统 性 能 。 减 少 页 交换 将 显著 提高 系统 响应 速度 。 要 监视 内 
行 不 足 的 状况 ， 请 从 以 下 的 对 人 象 计 数 器 开始 。 
@ Available Mbytes: 可 用 物理 内 存 数 。 如 果 Available Mbytes 的 值 很 小 (4MB 或 更 
小 )， 则 说 明 计 算 机 上 总 的 内 存 可 能 不 足 ， 或 菜 程 序 没 有 释放 内 存 。 
GO page/sec: 表明 由 于 硬件 页 面 错 误 而 从 磁盘 取出 的 页 面 数 ， 或 由 于 页 面 错误 而 写 
入 磁盘 以 释放 内 存 空间 的 页 面 数 。 一 般 如 果 pages/sec 持续 高 于 几 百 ， 那 么 应 该 进一步 研 
究 页 交换 活动 。 有 可 能 需要 增加 内 存 ， 以 减少 换 页 的 需求 〈 你 可 以 把 这 个 数字 乘 以 4k 
就 得 到 由 此 引起 的 硬盘 数据 流量 )。pages/sec 的 值 很 大 ， 不 一 定 表 明 内 存 有 问题 ， 而 可 
能 是 运行 使 用 内 存 映射 文件 的 程序 所 致 。 
page read/sec: 页 的 硬 故 障 ，page/sec 的 子 集 ， 为 了 解析 对 内 存 的 引用 ， 必 须 读 
取 页 文件 的 次 数 。 阅 值 为 >5， 越 低 越 好 。 大 数值 表示 磁盘 读 而 不 是 缓存 读 。 
se ”由 于 过 多 的 页 交换 要 使 用 大 二 的 硬盘 空间 ， 因 此 有 可 能 导致 页 交换 内 存 不 足 与 
页 交换 的 磁盘 瓶颈 混 清 。 因 此 ， 在 研究 内 存 不 足 不 太 明 显 的 页 交换 的 原因 时 ， 
必须 跟踪 如 下 的 磁盘 使 用 情况 计数 器 和 内 存 计数 器 : 
e Physical Disk\ % Disk Time. 
。 Physical Disk\ Avg.Disk Queue Length。 例 如 ， 包 括 Page Reads/sec 和 % Disk 
Time 及 Avg.Disk Queue Length。 如 果 页 面 读 取 操作 速率 很 低 , 同时 %Disk Time 
和 Avg.Disk Queue Length 的 值 很 商 ， 则 可 能 有 磁盘 瓶颈 。 而 如 果 队 列 长 度 增 
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加 的 同时 页 面 读 取 速 率 并 未 降低 ， 则 内 存 不 足 。 要 确定 过 多 的 页 交换 对 磁盘 活 
动 的 影响 ， 请 将 Physical Disk\ Avg.Disk sec/Transfer 和 Memory\ pages/sec 计 
数 器 的 值 增 大 数 倍 。 如 果 这 些 计 数 器 的 计数 结果 超过 了 0.1， 那 么 页 交换 将 
花费 10% 以 上 的 磁盘 访问 时 间 。 如 果 长 时 间 发 生 这 种 情况 ， 那 么 可 能 赴 要 更 多 
的 内 存 。 

Page Faults/sec: 每 秒 钟 软 性 页 面 失效 的 数目 〈 包 括 有 些 可 以 直接 在 内 存 中 满足 
而 有 些 需 要 从 硬盘 读 取 )， 而 page/sec 只 表明 数据 不 能 在 指定 内 存 中 立即 使 用 。 
Cache Bytes， 文 件 系 统 缓存 〈File System Cache)， 默 认 情 况 下 为 50% 的 可 用 物 
理 内 存 。 如 果 怀 疑 有 内 存 洪 露 ， 请 监视 Memory\ Available Bytes 和 Memory\ 
Committed Bytes， 以 观察 内 存 行为 ， 并 监视 可 能 泄露 内 存 进程 Process\Private 
Bytes、Process\Working Set 和 Process\Handle Count。 如 果 怀 疑 是 内 核 模 式 进 程 
导致 了 泄露 ， 则 还 应 该 监视 Memory\Pool Nonpaged Bytes、Meniory\ Pool 
Nonpaged Allocs 和 Process(process_name)\ Pool Nonpaged ee 

Pages per'second: 每 秒 钟 检索 的 页 数 。 该 数字 应 少 于 每 秒 1 页 。 

Page Fauits/sec: 将 进程 产生 的 页 故障 与 系统 产生 的 相 比 较 ， 以 判断 这 个 进程 对 
系统 页 故障 产生 的 影响 。 

Work set: 处 理 线 程 最 近 使 用 的 内 存 页 , 反映 了 每 一 个 进程 使 用 的 内 存 页 的 数量 。 
如 果 服 务 器 有 足够 的 空闲 内 存 ， 页 就 会 被 留 在 内 存 中 ， 当 自由 内 存 少 于 一 个 特 
定 的 阐 值 时 ， 页 就 会 被 清除 出 内 存 。 

Inetinfo: Private Bytes。 此 进程 所 分 配 的 无 法 与 其 他 进程 共享 的 当前 字 节 数量 。 
如 果 系 统 性 能 随 着 时 间 而 降低 ， 则 此 计数 器 可 以 是 内 存 泄 漏 的 最 佳 指示 器 。 
Processor: 监视 “处 理 器 ”和 “系统 ”对 i 
有 价值 的 信息 ， 帮 助 决定 是 否 存在 瓶颈 。 

%Processor Time: 被 处 理 器 消耗 的 处 理 器 时 间 数 重 。 如 果 该 值 持续 超过 9$%， 
表明 瓶颈 是 CPU。 可 以 考虑 增加 一 个 处 理 器 或 换 一 个 更 快 的 处 理 器 。 

%User Time: 表示 耗费 CPU 的 数据 库 操作 ， 如 排序 ， 执 行 aggregate functions 
等 。 如 果 该 值 很 高 ， 可 考虑 增加 索引 ， 尽 量 使 用 简单 的 表 联 接 、 水 平分 割 大 表 
格 等 方法 来 降低 该 值 。 

%Privileged Time: (CPU 内 核 时 间 ) 是 在 特权 模式 下 处 理 线 程 执行 代码 所 花 时 
间 的 百分比 。 如 果 该 参数 值 和 “Physical Disk” 参 数值 一 直 很 高 ， 表 明 WO 有 问 
题 。 可 考虑 更 换 更 快 的 硬盘 系统 。 另外 设置 “Tempdb in RAM”, 减低 “max async 
IO”“max lazy writer IO” 等 措施 都 会 降低 该 值 。 此 外 ， 跟 踪 计 算 机 的 服务 器 
工作 队列 当前 长 度 的 Server Work Queues\ Queue Length 计数 器 会 显示 出 处 理 器 
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杠 开 。 队 列 长 度 持 续 大 于 4， 则 表示 可 能 出 现 处理 器 拥塞 。 此 计数 器 是 特定 时 
间 的 值 ， 而 不 是 一 段 时 间 的 平均 值 。 

% DPC Time: . 越 低 越 好 。 在 多 处 理 器 系统 中 ， 如 果 这 个 值 大 于 50% 并 且 
“Processor: % Processor Time” 非 常 高， 加 入 一 个 网 卡 可 能 会 提高 性 能 ， 提 供 的 
网 络 已 经 不 饱和 。 

Context Switches/sec: 如 果 决 定 要 增加 线程 字 节 池 的 大 小 ， 应 该 同时 监视 实例 化 
inetinfo 和 dllhost 进程 这 两 个 计数 器 。 增 加 线程 数 可 能 会 增加 上 下 文 切换 次 数 ， 
这 样 性 能 不 会 上 升 ， 反 而 下 降 。 如 果 多 个 实例 的 上 下 文 切 换 值 非常 高 ， 就 应 该 
减 小 线程 字 节 池 的 大 小 。 

%Disk Time: 指 所 选 磁 盘 驱 动 器 忙于 为 读 或 写 入 请 求 提供 服务 所 用 的 时 间 的 百 
分 比 。 如 果 只 有 %Disk Time 比较 大 , 而 CPU 和 内 存 都 比较 适中 , 硬盘 可 能 会 是 
眶 颈 。 

Avg.Disk Queue Length: 指 读 取 和 写 入 请 求 (为 所 选 磁盘 在 实例 间隔 中 列队 ) 的 
平均 数 。 该 值 应 不 超过 磁盘 数 的 1.5 一 2 倍 。 要 提高 性 能 ， 可 增加 磁盘 。 注 意 ， 
一 个 Raid Disk 实际 有 多 个 磁盘 。 

Average Disk Read/Write Queue Length: 指 读 取 ( 写 入 ) 请 求 (列队 ) 的 平均 数 。 


”Disk Reads (Writes》/s: 物理 磁盘 上 每 秒 钟 磁盘 读 、 写 的 次 数 。 两 者 相 加 ， 应 


小 于 磁盘 设备 最 大 允许 读 取 次 数 。 

Average Disksec/Read， 指 以 秒 计算 的 在 此 盘 上 读 取 数据 的 所 需 平均 时 间 。 
Average Disk sec/Transfer: 指 以 秒 计 算 的 在 此 盘 上 写 入 数据 的 所 需 平 均 时 间 。 
Bytes Total/sec: 为 发 送 和 接收 字 节 的 速率 ， 包 括 帧 字符 在 内 。 判 断 网 络 连接 速 


. 度 是 否 是 瓶颈 ， 可 以 用 该 计数 器 的 值 和 目前 网 络 的 带宽 进行 比较 。 


(2) 数据 库 资 源 占用 监控 指标 包括 
通过 《负载 压力 测试 指标 》 章 节 的 讨论 ， 可 以 将 数据 库 资源 占用 监控 指标 概括 为 : 


读 写 页 面 的 使 用 情况 。 

超出 共享 内 存 缓冲 区 的 操作 数 。 

上 一 轮 询 期 间作 业 等 待 缓冲 区 的 时 间 。 

共享 内 存 中 物理 日 志和 逻辑 日 志 的 缓冲 区 的 使 用 率 。 
磁盘 的 数据 块 使 用 情况 以 及 被 频繁 读 写 的 热点 区 域 。 
用 户 事务 或 者 表 空 间 事务 。 

数据 库 锁 资源 。 

关键 业务 的 数据 表 的 表 空 间 增 长 。 

SQL 执行 情况 。 
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下 面 以 SQL Server 数据 库 性 能 计数 器 为 例 来 分 析 。 


Access Methods: 用 于 监视 数据 库 逻 辑 页 访问 方法 。 

Full Scans/sec; 每 秒 钟 不 受 限 的 完全 扫描 数 。 可 以 是 基本 表 扫 描 或 全 索引 扫描 。 
如 果 这 个 计数 器 显示 的 值 比 1 或 2 高 ， 应 该 分 析 查 询 以 确定 是 否 确实 需要 全 表 
扫描 ， 以 及 SQL 查询 是 否 可 以 被 优化 。 

Page splits/sec: 由 于 数据 更 新 操作 引起 的 每 秒 页 分 割 的 数量 。 

Buffer Manager: 监视 SQL Server 如 何 使 用 内 存 存储 数据 页 、 内 部 数据 结构 和 过 
程 高 速 缓存 。 计 数 器 在 SQL Server 从 磁盘 读 取 数据 库 页 和 将 数据 库 页 写 入 磁盘 
时 监视 物理 JO。 监视 SQL Server 所 使 用 的 内 存 和 计数 器， 有 助 于 确定 是 否 由 
于 缺少 可 用 物理 内 存 存储 高 速 缓存 中 经 常 访问 的 数据 ， 而 导致 瓶颈 存在 。 如 
果 是 这 样 ，SQL Server 必须 从 磁盘 检索 数据 ， 以 及 考虑 是 否 可 通过 添加 更 多 . 
内 存 , 或 使 更 多 内 存 可 用 于 数据 商 速 缓存 或 SQL Server 内 部 结构 来 提高 查询 
性 能 。 

Disk VO: SQL Server 从 磁盘 读 取 数据 的 频率 。 与 其 他 操作 相 比 , 例如 内 存 访问 ， 
物理 IO 会 耗费 大 量 时 间 。 尽 可 能 减少 物理 IO 可 以 提高 查询 性 能 。 

Page Reads/sec: 每 秒 钟 发 出 的 物理 数据 库 页 读 取 数 。 这 一 统计 信息 显示 的 是 在 
所 有 数据 库 间 的 物理 页 读 取 总 数 。 由 于 物理 IO 的 开销 大 ， 可 以 通过 使 用 更 大 
的 数据 高 速 绥 存 、 智 能 索引 、 更 高 效 的 查询 或 者 改变 数据 库 设 计 等 方法 ， 使 开 
销 减 到 堪 小 。 z 

Page Writes/sec: 每 秒 执 行 的 物理 数据 库 写 的 页 数 。 

Buffer Cache Hit Ratio: 在 “缓冲 池 ”(Buffer Cache/Buffer Pool) 中 没有 被 读 过 
的 页 占 整 个 缓冲 池 中 所 有 页 的 比率 。 可 在 高 速 组 存 中 找到 ， 而 不 需要 从 磁盘 
中 读 取 的 页 的 百分比 。 这 一 比率 是 高 速 缓存 命中 总 数 除 以 自 SQL Server 实例 
启动 后 对 高 速 缓 存 的 查找 总 数 。 经 过 很 长 时 间 后 ， 这 一 比率 的 变化 很 小 。 由 于 
从 高 速 缓存 中 读数 据 比 从 磁盘 中 读数 据 的 开销 要 小 得 多 ， 一 般 希望 这 一 数值 
高 一 些 。 通常， 可 以 通过 增加 SQL Server 可 用 的 内 存 数量 来 提高 高 速 缓存 命 
中 率 。 计 数 器 值 依 应 用 程序 而 定 ， 但 比率 最 好 为 90% 或 更 高 。 增 加 内 存 直 到 这 
一 数值 持续 高 于 90%， 表 示 90% 以 上 的 数据 请 求 可 以 从 数据 缓冲 区 中 获得 所 需 
数据 。 : 

Lazy Writes/sec: 惰性 写 进程 每 秒 写 的 缓冲 区 的 数量 。 其 值 最 好 为 0。 

Cache Manager: 对 象 提 供 计数 器 , 用 于 监视 SQL Server 如 何 使 用 内 存 存 储 对 象 ， 
如 存储 过 程 、 特 殊 和 准备 好 的 Transact-SQL 语句 以 及 触发 器。 

Cache Hit Ratio: Cache 可 以 包括 Log Cache, Buffer Cache 以 及 Procedure Cache， 
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是 一 个 总 体 的 比率 ， 是 高 速 绥 存 命中 次 数 和 查找 次 数 的 比率 之 和 。 其 对 查看 SQL 
Server 商 速 缓存 对 于 系统 性 能 提升 如 何 有 效 ， 是 一 个 非常 好 的 计数 器 。 如 果 这 
个 值 持续 低 于 80%， 就 需要 增加 更 多 的 内 存 。 

Latches: 用 于 监视 称 为 “ 门 锁 ”的 内 部 SQL Server 资源 锁 。 监 视 门 锁 以 明确 用 
户 活动 和 资源 使 用 情况 ， 有 助 于 查 明 性 能 瓶颈 。 

Average Latch Wait Time (ms): 一 个 SQL Server 线程 必须 等 待 一 个 门 的 平均 时 
间 ， 以 窒 秒 为 单位 。 如 果 这 个 值 很 高 ， 系 统 可 能 正经 历 严重 的 竞争 问题 。 
Latch Waits/sec: 在 门 上 每 秒 的 等 待 数量 。 如 果 这 个 值 很 高 ， 表 明 系 统 正经 历 严 


重 的 竞争 问题 。 


Locks: 提供 有 关 个 别 资源 类 型 上 的 ， SQL Server 锁 的 信息 。 锁 加 在 SQL Server 
资源 上 (如 在 一 个 事务 中 进行 的 行 读 取 或 修改 ), 以 防止 多 个 事务 并 发 使 用 资源 。 
例如 ， 如 果 一 个 排 它 锁 被 一 个 事务 加 在 某 一 表 的 某 一 行 上 ,在 这 个 锁 被 释放 前 ， 
其 他 事务 都 不 可 以 修改 这 一 行 。 应 尽 可 能 少 使 用 锁 ， 可 提高 并 发 性 ， 从 而 改善 
性 能 。 可 以 同时 监视 Locks 对 象 的 多 个 实例 ， 每 个 实例 代表 一 个 资源 类 型 上 的 
一 个 锁 。 

Number of Deadlocks/sec; 导致 死 锁 的 锁 请 求 的 数量 。 

Average Wait Time(ms): 线程 等 待 某 种 类 型 的 锁 的 平均 等 待 时 间 。 

Lock Requests/sec: 每 秒 钟 某 种 类 型 的 锁 请 求 的 数量 。 

Memory manager: 用 于 监视 总 体 的 服务 器 内 存 使 用 情况 ， 以 估计 用 户 活动 和 资 
源 使 用 ， 有 助 于 碍 明 性 能 瓶颈 。 监 视 SQL Server 实例 所 使 用 的 内 存 ， 有 助 于 确 
定 是 否 由 于 缺少 可 用 物理 内 存 存 储 高 速 缓存 中 经 常 访 问 的 数据 而 导致 瓶颈 存 
在 。 如 果 是 这 样 ，SQL Server 必须 从 磁盘 检索 数据 ， 以 及 考虑 是 否 可 以 通过 添 
加 更 多 内 存 ， 或 使 更 多 内 存 可 用 于 数据 高 速 缓存 或 SQL Server 内 部 结构 ， 来 提 
商 查 询 性 能 。 

Lock blocks: AR 锁 是 加 在 页 、 行 或 者 表 这 样 的 资源 上 。 
通常 不 希望 看 到 此 值 增长 。 : 

Total Server Memory: SQL Server 服务 器 当前 正在 使 用 的 动态 内 存 总 重 。 


(3) 中 间 件 资源 占用 监控 
中 和 间 件 主要 包括 ; 


Web 中 间 件 ; 
应 用 中 间 件 ; 
交易 中 间 件 ; 
其 他 中 间 件 。 
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下 面 以 IIS 为 例 来 分 析 。 
e。 % File Cache Hits: 是 全 部 缓存 请 求 中 缓存 命中 次 数 所 占 的 比例 ， 反映 了 IS 的 
文件 缓存 设置 的 工作 情况 。 对 于 一 个 由 大 部 分 静态 网 页 组 成 的 网 站 ， 该 值 应 该 
保持 在 80% 左 右 。File Cache Hits 是 文件 缓存 命中 的 具体 值 , 而 File CacheFlushes 
是 自 服务 器 启动 之 后 文件 缓存 刷新 次 数 ， 如 果 刷 新 得 太 慢 ， 会 当 费 内 存 ， 如 果 
刷新 得 太 快 ， 缓 存 中 的 对 象 会 太 频 繁 地 接 弃 生成 ， 起 不 到 缓存 的 作用 。 通 过 比 
较 File Cache Hits 和 File Cache Flushes 可 得 出 缓存 命中 率 与 缓存 清空 率 的 比率 。 
通过 观察 这 两 个 值 ， 可 以 得 到 一 个 适当 的 刷新 值 〈 参 考 IIS 的 ObjectTTL、 
MemCacheSize 和 MaxCacheFileSize 设置 )。 
。 Web Service 部 分 : 
@ Bytes Total/sec: 显示 Web 服务 器 发 送 和 接收 的 总 字 节 数 。 低 数值 表明 该 IIS 正 
在 以 较 低 的 速度 进行 数据 传输 。 

@ Connection Refused: 数值 越 低 越 好 。 高 数值 农 明 网 络 适配器 或 处 理 器 存在 瓶颈 。 

@ Not Found Errors: 显示 由 于 被 请 求 文件 无 法 找到 而 导致 的 服务 器 无 法 回应 的 请 
求 数 (HTTP 状态 代码 404)。 

3， 故 障 分 析 

这 里 主要 讨论 故障 分 析 内 容 以 及 优化 调整 设置 内 容 ， 同 时 还 与 读者 分 学 故障 分 析 的 
经 验 与 实例 。 

(1)》 故障 分 析 重 点 内 容 

故障 分 析 的 重点 内 容 包 括 以 下 几 个 方面 : 

Q@ CPU 问题 。 

@ 内 存 和 高 速 缓存 。 

@ 磁盘 (IO) 资源 问题 。 

(4) 配置 参数 。 

应 用 系统 网 络 设置 。 

数据 库 服务 器 故障 定位 。 

(2) 经 验 探讨 

e 经 验 举 例 1。 

交易 的 响应 时 间 如 果 很 长 , 远 远 超 过 系统 性 能 的 需求 ， 表示 耗费 CPU 的 数据 库 操作 。 

例如 排序 ， 执 行 aggregate functions〈 例 如 sum、min、max、count) 等 较 多 ， 可 考虑 是 
特有 索引 以 及 索引 建立 得 是 否 合理 。 尽 量 使 用 简单 的 表 链 接 、 水 平分 割 大 表格 等 方法 来 
降低 该 值 。 

。 经验 举 例 2。 
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测试 工具 可 以 模拟 不 同 的 虚拟 用 户 来 单独 访问 Web 服务 器 、 应 用 服务 器 和 数据 库 服 
务 器 ， 这 样 ， 就 可 以 在 Web 端 测 出 的 响应 时 间 减 去 以 上 各 个 分 段 测 出 的 时 间 ， 就 可 以 知 
道 瓶 颈 在 哪里 并 着 手 调 优 。 

e 经 验 举 例 3。 

UNIX 资源 监控 (NT 操作 系统 同 理 ) 中 指标 内 存 页 交换 速率 (Paging rate)， 如 果 该 
值 偶尔 走高 ， 表 明 当 时 有 线程 竞争 内 存 。 如 果 持 续 很 高 ， 则 内 存 可 能 是 瓶颈 ， 也 可 能 是 
内 存 访问 命中 率 低 。“Swap in rate” 和 “Swap out rate” 也 有 类 似 的 解释 。 

e ， 经验 举例 4。 

UNIX 资源 监控 (NT 操作 系统 同 理 ) 中 指标 CPU 占用 率 (CPU utilization)， 如 果 
该 值 持 续 超过 95%, 表明 瓶颈 是 CPU。 可 以 考虑 增加 一 个 处 理 器 或 换 一 个 更 快 的 处 理 器 。 
合理 使 用 的 范围 在 60% 一 70%。 

e 经 验 举例 5。 

Tuxedo 资源 监控 中 指标 队列 中 的 字 节 数 (Bytes on Se 队列 长 度 应 不 超过 磁盘 
数 的 1.5~2 倍 。 要 提高 性 能 ， 可 增加 磁盘 。 注 意 : 一 个 Raid Disk 实际 有 多 个 磁盘 。 

e 经 验 举例 6。 

SQL Server 资源 监控 中 指标 缓存 所 而 率 (Cache Hit Ratio )， 该 信 越 高 越 好 。 如 果 持 
续 低 于 80%, 应 考虑 增加 内 存 。 注意 该 参数 值 是 从 SQL Server 启动 后 , 就 一 直 累 加 记 数 ， 
所 以 运行 经 过 一 段 时 间 后 ， 该 值 将 不 能 反映 系统 当前 值 。 

《3) 优化 调整 设置 

针对 上 述 故 障 分 析 的 重点 内 容 ， 淆 要 做 相应 的 优化 调整 ， 建 议 如 下 。 

e。 CPU 问题 。 

考虑 使 用 更 高 级 的 CPU 代替 目前 的 CPU; 

加 对 于 多 CPU， 考 虑 CPU 之 间 的 负载 分 配 ; 

图 考虑 在 其 他 体系 上 设计 系统 ， 例 如 增加 前 置 机 、 设 置 并 行 服务 器 等 。 

s 内存 和 高 速 缓存 。 

@ 内 存 的 优化 包括 操作 系统 、 数 据 库 、 应 用 程序 的 内 存 优化 ; 

@ 过 多 的 分 页 与 交换 可 能 降低 系统 的 性 能 ; 

@ 内 存 分 配 也 是 影响 系统 性 能 的 主要 原因 ; 

@ 保证 保留 列表 具有 较 大 的 邻接 内 存 块 : 

@@ 调整 数据 块 缓冲 区 大 小 (用 数据 块 的 个 数 表 示 〉 是 一 个 重要 内 容 ; 

将 最 频繁 使 用 的 数据 保存 在 存储 区 中 。 

e 磁盘 (IO) 资源 问题 。 

Q@ 磁盘 读 写 进度 对 数据 库 系统 是 至 关 重 要 的 ， 数 据 库 对 象 在 物理 设备 上 的 合理 分 
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布 能 改善 性 能 。 

G 磁盘 镜像 会 减 慢 磁盘 写 的 速度 。 

@@ 通过 把 日 志和 数据 库 对 象 分 布 在 独立 的 设备 上 ， 可 以 提高 系统 的 性 能 。 

由 把 不 同 的 数据 库 放 在 不 同 的 硬盘 上 ， 可 以 提高 读 写 速度 。 建 议 把 数据 库 、 回 滚 
段 、 日 志 放 在 不 同 的 设备 上 。 

@@ 把 表 放 在 一 块 硬盘 上 ， 把 非 簇 的 索引 放 在 另 一 块 硬盘 上 ， 保证 物理 读 写 更 快 。 

e。 调整 配置 参数 。 

GD 包括 操作 系统 和 数据 库 的 参数 配置 。 

@ 并 行 操作 资源 限制 的 参数 〈 并 发 用 户 的 数目 、 会 话 数 )。 

@) 影响 资源 开销 的 参数 。 

@ 与 VO 有 关 的 参数 。 

。 优化 应 用 系统 网 络 设置 。 

Q 可 以 通过 数组 接口 来 减少 网 络 呼叫 。 不 是 一 次 提取 一 行 ， 而 是 在 单个 往来 往返 
中 提取 10 行 ， 这 样 做 效率 较 高 。 

所 调整 会 话 数据 单元 的 缓冲 区 大 小 。 

@@ 共享 服务 进程 比 专用 服务 进程 提供 更 好 的 性 能 。 

(4) 负载 压力 典型 问题 分 析 

负载 压力 测试 需要 识别 的 故障 问题 主要 包括 | 

。 非 正 确 执 行 的 处 理 。 

3 速度 瓶颈 与 延迟 。 

。 不 能 达到 满意 服务 水 平 。 

。 接口 页 面 不 能 正确 地 装载 或 者 根本 不 能 装载 。 

当 在 合理 的 加 载 下 出 现 这 些 类 型 的 问题 时 ， 则 表示 可 能 有 基础 性 的 设计 问题 ， 比 
如 说 : 算法 问题 ， 低 效 的 数据 库 应 用 程序 交互 作用 等 ， 这 些 都 不 是 通过 简单 升级 硬件 
以 及 调整 系统 配置 就 可 以 解决 的 问题 ， dd 
地 位 。 

(5) Web 网 站 故障 分 析 举 例 

目前 Web 开发 者 开始 提供 可 定制 的 Web 网 站 ， 例 如 ， 像 搜索 数据 之 类 的 任务 ， 现 
在 可 以 由 服务 器 执行 ， 而 无 需 客户 干预 。 然 而 ， 这 些 变革 也 导致 了 一 个 结果 ， 这 就 是 许 
多 网 站 都 在 使 用 大 量 的 未 经 优化 的 数据 库 调 用 ， a 

我 们 可 以 使 用 以 下 几 种 方法 来 解决 这 些 问题 ; : 

。 优化 ASP 代码 。 

e。 优化 数据 库 调用 。 
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e 使 用 存储 过 程 。 

。 调整 服务 器 性 能 。 

优秀 的 网 站 设计 都 会 关注 这 些 问题 。 然 而 ， 与 静态 页 面 的 速度 相 比 ， 任 何 数据 库 调 
用 都 会 显著 地 影响 Web 网 站 的 响应 速度 , 这 主要 是 因为 在 发 送 页 面 之 前 必须 单独 地 为 每 
个 访问 网 站 的 用 户 进行 数据 库 调 用 。 

这 里 提出 的 性 能 优化 方案 正 是 基于 以 下 事实 : 访问 浪 态 HTML 页 面 要 比 访问 那些 内 
容 依赖 于 数据 库 调 用 的 页 面 要 快 。 它 的 基本 思想 是 ， 在 用 户 访问 页 面 之 前 ， 预 先 从 数据 
库 提 取信 息 ， 写 入 存储 在 服务 器 上 的 静态 HTML 页 面 。 为 了 保证 这 些 静 态 页 面 能 够 及 时 
地 反映 不 断 变化 的 数据 库 数 据 ， 必 须 有 一 个 调度 程序 管理 静态 页 面 的 生成 。 

当然 ， 这 种 方案 并 不 能 够 适应 所 有 的 情形 。 例 如 ， 如 果 是 从 持续 变化 的 大 容重 数据 
库 提取 少 最 信息 ， 这 种 方案 是 不 合适 的 。 

每 当 该 页 面 被 调用 时 ， 脚 本 就 会 提取 最 后 的 更 新 时 间 并 将 它 与 当前 时 间 比 较 。 如 果 
两 个 时 间 之 间 的 差 值 大 于 预定 的 数值 ， 更 新 脚本 就 会 运行 ,否则 ,该 ASP 页 面 把 余下 的 
HTML 代码 发 送 给 浏览 器 。 , 

如 果 每 次 访问 ASP 页 面 的 时 候 都 要 提供 最 新 的 信息 ， 或 者 输出 与 用 户 输入 密切 相 
关 ， 这 种 方法 并 不 实用 ， 但 这 种 方法 可 以 适应 以 固定 的 时 间 间 隅 更 新 信息 的 场合 。 

如 果 数 据 库 内 容 由 客户 通过 适当 的 ASP 页 面 更 新 , 要 确保 静态 页 面 也 能 够 自动 反映 
数据 的 变化 ， 我 们 可 以 在 ASP 页 面 中 调用 Update 脚本 。 这 样 ， 每 当 数 据 库 内 容 改变 时 ， 
服务 器 上 也 有 了 最 新 的 静态 HTML 页 面 。 

另 一 种 处 理 频繁 变动 数据 的 办 法 是 借助 Microsoft SQL Server 7.0 或 以 上 版 本 的 Web 
助手 向 导 (Web Assistant Wizard)， 这 个 向 导 能 够 利用 Transact-SQL、 存 储 过 程 等 从 SQL 
Server 数据 生成 标准 的 HTML 文件 。 

Web 助手 向 导 能 够 用 来 定期 地 生成 HTML 页 面 。 正 如 前 面 概 要 介绍 的 方案 ，Web 
助手 可 以 通过 触发 子 更 新 HTML 页 面 , 比如 在 指定 的 时 间 执 行 更 新 或 者 在 数据 库 数据 变 
化 时 执行 更 新 。 

SQL Server 使 用 名 为 sp makewebtask 的 存储 过 程 创 建 HTML 页 面 ， 它 的 参数 是 目 
标 HTML 文件 的 名 字 和 待 执行 存储 过 程 的 名 字 ， 查 询 的 输出 发 送 到 HTML 页 面 。 另 外， 
也 可 以 选择 使 用 可 供 结果 数据 插入 的 模板 文件 。 

万 一 用 户 访问 页 面 的 时 候 正好 在 执行 更 新 ， 我 们 可 以 利用 锁 或 者 其 他 类 似 的 机 制 把 
页 面 延迟 几 秒 钟 。 

我 们 对 纯 HTML 加 调度 ASP 代码 和 普通 的 ASP 文件 进行 了 性 能 测试 。 普通 的 ASP 
文件 要 查找 5 个 不 同 的 表 为 页 面 提取 数据 。 为 了 和 这 两 个 文件 相 比 较 ， 对 一 个 只 访问 单 
个 表 的 ASP 页 面 和 一 个 纯 HTML 文件 也 进行 了 测试 。 测 试 结果 如 表 8-25 所 示 。 
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表 8-25 加 调度 ASP 代码 和 普通 ASP 代码 测试 对 比 


文件 名 字 平均 TTLB 《ms) 


纯 HTML 文件 Ce 474 

只 访问 单个 表 的 ASP 页 面 | 8 | 68 | 789.38 
普通 的 ASP 文件 9 | 12589 | 3759.56 
纯 HTML 加 调度 ASP 代 码 | 9 | ls | 1739.89 


其 中 TTFB 是 指 “Total Time to First Byte”，TTLB 是 指 “Total Time to Last Byte”。 

测试 结果 显示 , 访问 单个 表 的 ASP 页 面 的 处 理 时 间 是 720.Sms， 而 纯 HTML 文件 则 
为 427ms。 普 通 的 ASP 文件 和 纯 HTML 加 调度 ASP 代码 的 输出 时 间 相 同 ， 但 它们 的 处 
理 时 间 分 别 为 3633.67ms 和 1590ms。 也 就 是 说 ， 在 这 个 测试 环境 下 我 们 可 以 把 处 理 速度 
提高 43%。 

如 果 我 们 要 让 页 面 每 隔 一 定 的 访问 次 数 进行 更 新 ， 比 如 100 次 ， 那 么 这 第 100 个 用 
户 就 必须 等 待 新 的 HTML 页 面 生 成 。 不 过 ， 这 个 代价 或 许 不 算 太 高 ， 其 他 99 个 用 户 获 
得 了 好 处 。 

静态 页 面 方法 并 不 能 够 适合 所 有 类 型 的 页 面 。 例 如 ， 某 些 页 面 在 进行 任何 处 理 之 前 
必须 要 有 用 户 输入 。 但 是 ， 这 种 方法 可 以 成 功 地 应 用 到 那些 不 依赖 用 户 输入 却 进 行 大 量 
数据 库 调用 的 页 面 ， 而 且 这 种 情况 下 它 将 发 挥 出 更 大 的 效率 。 

在 大 多 数 情况 下 ， 动 态 页 面 的 生成 将 在 相当 大 的 程度 上 提高 网 站 的 性 能 ， 而 且 无 须 
在 功能 上 有 所 折 囊 。 虽 然 有 许多 大 的 网 站 采用 了 这 个 策略 来 改善 性 能 ， 但 也 有 许多 网 站 
完全 由 于 进行 大 量 没 有 必要 的 数据 库 调 用 ， 而 表现 出 很 差 的 性 能 。 

4. 数据 库 服 务 器 性 能 问题 及 原因 分 析 | 

数据 库 服 务 器 性 能 问题 主要 表现 在 某 些 类 型 操作 的 响应 时 间 过 长 、 同 一 类 型 事务 的 
并 发 处 理 能 力 差 和 锁 冲 突 频繁 发 生 等 方面 。 应 该 说 ， 这 些 问题 是 数据 库 服 务 器 性 能 不 佳 
的 典型 表现 。 由 于 造成 上 述 情况 的 原因 众多 ， 需 要 分 情况 加 以 分 析 。 

(1) 单一 类 型 事务 响应 时 间 过 长 

响应 时 间 (Response Time，RT) 是 系统 完成 事务 执行 准备 后 所 采集 的 时 间 叭 和 系 
统 完成 待 执 行事 务 后 所 采集 的 时 间 玲 之 间 的 时 间 间 隔 ， 是 衡量 特定 类 型 应 用 事务 性 能 的 
重要 指标 ， 标 志 了 用 户 执行 一 项 操作 大 致 需要 多 长 时 间 。 响 应 时 间 过 长 意味 着 用 户 完成 
执行 一 项 命令 需要 等 待 相当 长 的 时 间 。 实 践 表 明 ， 通 常情 况 下 用 户 能 够 接受 的 响应 时 间 
最 大 为 200 ms。 不 仅 如 此 ， 响 应 时 间 过 长 也 是 造成 系统 锁 剖 突 严重 的 重要 原因 之 一 。 

造成 响应 时 间 过 长 的 原因 非常 复杂 ， 通 常 可 以 从 以 下 几 个 方面 考虑 。 

QD 数据 库 服务 器 负载 过 重 。 
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@ 糟糕 的 数据 库 设计 。 

@ 事务 粒度 过 大 。 

@) 批 任务 对 普通 用 户 性 能 的 影响 。 

。 数据库 服 务 器 负载 过 重 。 

数据 库 服务 器 负载 过 重 不 可 避免 地 会 造成 响应 时 间 过 长 。 这 标志 着 当前 服务 器 系统 
的 硬件 条 件 不 能 满足 实际 用 户 对 性 能 的 和 需要。 服务器 负载 过 重 主要 表现 在 CPU 使 用 率 
高、 内 存 占 用 率 大 、1/O 与 页 面 交 换 频 签发 生 等 方面 。 由 于 服务 器 系统 本 身 一 般 都 提供 
性 能 监控 程序 ， 定 位 服务 器 性 能 问题 相对 比较 容易 。 解 决 这 类 问题 的 方法 一 般 是 升级 服 
务 器 硬件 ， 提 高 数据 库 服 务 器 本 身 的 处 理 能 力 。 但 是 ， 通 过 升级 服务 器 硬件 获得 的 性 能 
提升 是 很 有 限 的 ， 并 且 对 于 某 些 诸如 算法 复杂 度 过 高 等 问题 根本 无 法 解决 。 

。 煌 料 的 数据 库 设 计 。 

糖 糕 的 数据 库 设 计 是 导致 单一 事务 啊 应 时 间 过 长 的 最 重要 原因 。 通 利 ， 数 据 库 设 计 
在 系统 开发 初期 进行 ， 此 时 ， 数 据 库 设 计 人 员 往 往 对 数据 的 实际 规模 和 特性 没有 足够 的 
了 解 。 在 数据 库 设计 方面 ,对 响应 时 间 影 响 较 大 的 因素 有 数据 库 表 的 规模 、 索 引 的 使 用 、 
数据 的 分 布 、 查 询 优化 等 。 其 中 索引 的 使 用 极 大 影响 事务 执行 的 响应 时 间 。 实 际 上 ， 很 
多 情况 下 应 用 程序 在 访问 大 规模 数据 库 表 时 的 确 没有 使 用 索引 。 造 成 这 种 情况 的 原因 通 
常 是 开发 人 员 的 疏忽 ， 也 有 用 户 的 需求 变化 过 多 ， 某 些 数 据 库 字 段 不 适合 建立 索引 的 情 
况 。 在 这 里 需要 特别 指出 的 是 ， 对 组 合 索 引进 行 查询 时 ， 查 询 条 件 中 字段 的 顺序 与 数据 
库 设 计 的 索引 字段 顺序 要 一 致 。 如 果 顺 序 颠 倒 ， 组合 索引 根本 不 能 被 数据 库 使 用 。 例 如 ， 
表 A (fieldl，field2，field3)， 有 组 合 索引 index (field1，field2)， 诸 如 

SELECT * FROM A WHERE ((field2 = condition2) AND (fieldl = condition1)) 和 
SELECT * FROM A WHERE (field2 = condition2) 的 查询 无 法 使 用 index 索引 。 此 外 ， 
并 非 增加 索引 就 一 定 能 够 提高 单一 事务 执行 的 哆 应 时 间 。 过 多 的 索引 使 用 将 极 大 地 增加 
插入 操作 (INSERT) 的 花费 ， 从 而 使 啊 应 时 间 变 长 。 

数据 库 表 规模 过 大 ， 是 指 单一 数据 库 表 的 记录 数 在 百 万 行 以 上 ， 对 这 类 表 直 接 进 行 
检索 而 不 采取 必要 的 优化 手段 ， 必 然 造成 单一 查询 响应 时 间 过 长 。 如 果 数 据 库 表 的 规模 
一 再 增 大 ， 使 用 索引 也 不 能 很 有 效 地 解决 响应 时 间 过 长 的 问题 。 对 此 类 问题 ， 可 能 的 解 
决 办 法 是 对 数据 进行 分 布 ， 使 查询 能 够 并 行 执行 或 缩小 查询 的 范围 。 目 前 ， 主 流 关 系 
数据 库 管 理 系 统 都 提供 表 分 区 〈 分 段 ) 存储 ， 以 使 得 软件 开发 人 员 比较 容易 地 实现 数据 
分 布 。 

查询 优化 对 响应 时 间 的 影响 也 不 容 忽视 ， 尽 管 优 化 活动 由 数据 库 管 理 系统 完成 。 实 
际 上 一 条 结构 化 查询 语句 (SQL) 的 写法 有 很 多 种 ， 不 同 的 写法 可 能 有 不 同 的 响应 时 间 ， 
这 一 差别 可 能 非常 大 。 如 果 开 发 人 员 在 软件 编写 过 程 中 恰好 使 用 了 执行 效率 低 的 SQL 语 
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名 ， 其 响应 时 间 自 然 就 会 变 长 。 目 前 ， 某 些 独立 软件 开发 商 已 经 注意 到 这 种 情况 ， 并 开 
发 了 相应 的 软件 帮助 应 用 软件 开发 人 员 找 到 执行 最 快 的 SQL 语句 的 写法 。 但 是 ， 由 于 
数据 库 本 身 是 动态 变化 的 , 执行 最 快 的 So 语句 也 可 能 变化 ， 所 以 这 种 方法 也 是 有 局 限 
性 的 。 - 
。 事务 粒度 过 大 。 
事务 粒度 过 大 指 单一 数据 库 事务 执行 过 程 中 ， 需要 以 某 种 并 发 控制 机 制 访问 多 个 数 
据 库 资源 。 通 常 采用 的 并 发 控制 机 制 是 互 斥 锁 或 者 共享 锁 。 这 种 大 粒度 事务 的 执行 由 于 
要 访问 多 个 数据 库 资源 (如 数据 库 表 )， 本 身 就 需要 消耗 相当 长 的 时 间 。 此 外 ， 由 于 通常 
事务 在 执行 的 时 候 会 对 数据 库 资 源 进 行 加 锁 ， 这 类 事务 也 对 其 他 访问 该 资源 的 用 户 造成 
影响 。 由 于 这 类 事 务 通常 使 用 的 锁 数 量 都 在 两 个 以 上 ， 如 果 不 合理 地 进行 控制 ， 极 容易 
造成 死 锁 。 因 此 ， 在 应 用 软件 设计 过 程 中 ， 应 该 尽量 消除 大 粒度 事务 。 

e。 批 任务 对 普通 用 户 性 能 的 影响 。 

批 任务 是 指 一 次 操作 将 对 数据 库 中 大 量 数 据 进 行 互 斥 访问 的 数据 库 事务 。 这 种 类 型 
的 事务 通常 将 更 新 同一 个 数据 库 表 中 的 数 千 项 乃至 更 多 的 数据 。 由 于 这 类 任务 把 所 有 操 
作 放 置 在 同一 个 数据 库 事 务 中 ， 所 访问 的 资源 在 其 执行 过 程 中 始终 被 锁定 ， 必 然 会 对 其 
他 普通 事务 造成 访问 影响 。 此 外 , 由 于 这 类 任务 本 身 将 对 数据 库 服务 器 造成 巨大 的 负担 ， 
使 得 服务 器 负载 加 重 ， 从 而 影响 独立 事务 的 响应 时 间 。 通 常情 况 下 ， 批 任务 推荐 在 系 
统 具 有 较 长 空闲 时 完成 〈 如 晚上)， 这 样 可 以 保证 不 对 独立 事务 造成 影响 。 如 果 由 于 业 
务 的 要 求 ， 批 任务 必须 与 独立 事务 混合 运行 ， 则 必须 对 其 加 以 改造 ， 以 减轻 对 其 他 事务 
的 影响 。 

(2)》 并 发 处 理 能 力 差 

并 发 处 理 能 力 差 是 指 应 用 系统 在 执行 同一 类 型 事务 的 多 个 实例 时 ， 不 能 获得 与 执行 
实例 数量 相当 的 吞吐 量 ， 而 是 大 大 低 于 理论 值 。 一 般 来 说 ， 这 类 问题 都 是 由 于 互 斥 访问 
造成 的 ， 即 并 发 执行 中 的 某 个 实例 以 互 斥 方式 对 资源 进行 访问 ， 造 成 了 其 他 同类 型 用 户 
必需 等 待 该 实例 释放 锁定 资源 后 才能 执行 。 应 该 指出 ， 由 于 某 些 资源 必须 以 互 斥 的 方式 
进行 访问 ， 某 些 类 型 的 事务 在 同一 时 间 是 只 能 有 一 个 进行 执行 的 。 对 于 并 发 处 理 能 力 差 
的 问题 ， 可 能 的 解决 方法 有 ， 降 低 同一 类 型 事务 中 锁 的 粒度 、 优 化 应 用 逻辑 以 缩短 单一 
类 型 事务 响应 时 间 等 。 | 

(3) 锁 冲 突 严 重 

锁 冲 突 是 每 个 以 关系 数据 库 为 核心 的 信息 系统 必须 解决 的 问题 。 这 里 的 锁 冲 突 是 指 
同一 类 型 或 不 同类 型 事务 在 并 发 执行 的 情况 下 ， 由 于 资源 互 斥 而 相互 影响 ， 造 成 一 个 或 
多 个 事务 无 法 正常 执行 的 情况 ， 包 括 资源 锁定 造成 的 数据 库 事务 超时 和 死 锁 两 个 方面 。 

。 资源 锁定 造成 的 数据 库 事 务 超时 。 
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资源 锁定 导致 的 数据 库 事务 超时 ， 其 原因 是 多 方面 的 ， 其 中 ， 批 任务 影响 其 他 类 型 
独立 事务 的 情况 占有 相当 大 的 比重 。 此 外 ， 某 些 改 造 过 的 批 任务 由 于 频繁 对 特定 资源 进 
行 锁 定 ， 也 会 对 独立 事务 造成 相当 大 的 影响 。 如 果 在 设 定 时 间 内 ， 数 据 库 服务 器 由 于 资 
源 锁 定 没有 能 够 完成 客户 端 发 出 的 操作 请 求 ， 数 据 库 服务 器 将 通知 被 锁定 的 客户 端 该 操 
作 超时 。 

某 些 大 粒度 事务 在 并 发 执行 的 实例 较 多 时 也 会 造成 同类 或 不 同事 务 的 数据 库 超 时 。 

此 外 ， 应 用 系统 如 果 没 有 健壮 的 异常 处 理 机 制 ， 很 可 能 造成 锁 资源 不 被 释放 〈 即 ， 
开始 的 事务 既 没 有 提交 也 没有 回 滚 )。 当 这 种 错误 发 生 时 ， 必 然 造成 资源 被 长 久 锁定 。 对 
此 类 问题 ， 应 用 系统 在 开发 的 过 程 中 需要 采取 一 套 完善 的 异常 处 理 机 制 ， 确 保 资 源 不 被 
长 期 锁定 。 

。 数据 库 死 锁 。 

由 于 数据 库 死 锁 可 以 看 作 进 程 间 死 锁 的 一 种 特殊 情况 ， 我 们 可 以 采取 与 处 理 操作 系 
统 死 锁 相 类 似 的 方法 解决 数据 库 死 锁 的 问题 。 造 成 死 锁 必 须 具 备 下 述 条 件 (Coffiman et al 
1971 ): 

( 互 斥 条 件 。 每 一 个 资源 或 者 被 分 配给 特定 的 进程 ， 或 者 可 用 。 

包 持 有 并 等 待 条件 。 被 授权 持 有 资源 较 早 的 进程 可 以 请 求 新 的 资源 。 

@) 不 可 取代 原则 。 事 先 被 赋予 的 资源 不 能 够 从 该 进程 被 强制 取 走 ， 它 们 必须 被 所 
持 有 的 进程 明确 释放 。 

环 等 待 条 件 。 必 须 存在 两 个 或 者 多 个 进程 的 环形 链 ， 其 中 每 一 进程 都 等 待 由 环 
形 链 的 下 一 个 成 员 所 持 有 的 资源 。 

由 于 软件 开发 人 员 对 资源 争 用 可 能 进 成 的 死 锁 问 题 往 往 没 有 充分 考虑 ， 而 目前 主流 
数据 库 管理 系统 主要 采用 乐观 的 并 发 控制 算法 ， 导 致 应 用 系统 实际 使 用 过 程 中 频繁 发 生 
死 锁 。 应 该 说 明 ， 同 类 型 数据 库 事 务 的 不 同 实例 之 间 由 于 访问 资源 的 顺序 一 致 ， 通 常情 
况 不 会 发 生死 锁 ; 不 同类 型 事务 之 间 如 果 没 有 按照 一 个 统一 的 契约 进行 并 发 访问 ， 将 极 
容易 形成 死 锁 。 因 此 ， 在 确保 应 用 系统 功能 的 前 提 下 ， 制 定 一 个 不 同事 务 之 间 进 行 并 发 
访问 的 原则 ， 就 可 以 有 效 消除 环 等 待 ， 减 少 死 锁 发 生 的 可 能 性 。 

针对 数据 库 的 性 能 问题 ， 一 般 应 采用 什么 样 的 解决 办 法 呢 ? 

在 对 数据 库 服务 器 常见 性 能 问题 进行 充分 研究 的 基础 上 ， 我 们 制定 了 一 套 适用 于 解 
决 已 发 布 系统 性 能 问题 的 通用 方法 ， 步 又 如 下 : 

Q 监视 性 能 相关 数据 ; 

包 定位 资源 占用 较 大 的 事务 并 做 出 必要 的 优化 或 调整 ; 

@) 定位 锁 剖 突 ， 修 改 锁 冲突 发 生 严重 的 应 用 逻辑 ; 

@ 对 规模 较 大 的 数据 或 者 无 法 通过 一 般 优化 解决 的 锁 溃 突进 行 分 布 。 
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必须 指出 ， 解决 数据 库 性 能 问题 是 一 个 千代 和 往复 的 过 程 ， 通 币 需 要 在 各 种 条 作 的 
矛盾 之 间 寻 求 最 佳 的 平衡 点。 

(4) 监视 并 记录 性 能 相关 数据 

对 数据 库 服 务 器 软件 、 操 作 系 统 、 网 络 环境 乃至 客户 端 等 各 类 处 理 单元 的 性 能 相关 
信息 进行 监视 并 记录 ， 是 发 现 数据 库 性 能 问题 的 基础 。 这 一 步骤 的 作用 是 搜集 与 数据 库 
服务 器 性 能 表现 密切 相关 的 数据 ， 作 为 分 析 性 能 问题 的 基础 。 由 于 各 个 处 理 单元 的 状态 
是 随 着 时 间 的 推移 而 动态 变化 的 ， 性 能 数据 的 监视 与 采集 必须 尽 可 能 详细 地 记录 下 所 有 
时 间 点 上 各 个 处 理 单 元 的 状态 信息 。 为 此 ， 我 们 采取 对 各 个 采样 时 间 点 的 处 理 单元 状态 
信息 进行 快照 方式 ， 来 对 性 能 相关 数据 进行 监控 和 记录 ， 相 邻 采样 时 间 点 之 间 的 问 隅 越 
小 ， 状 态 信息 就 越 准确 。 

在 各 类 监视 活动 中 ， 对 数据 库 服 务 器 软件 性 能 属性 的 监视 是 整个 活动 的 重点 ， 主 要 
集中 在 数据 库 会 话 的 状态 信息 、 执 行 的 结构 化 查询 语句 和 锁 使 用 情况 等 方面 。 其 中 ， 状 
态 信 息 代 表 了 单一 数据 库 会 话 在 其 生命 周期 中 的 状态 变化 情况 ， 包 括 在 哪 一 个 时 间 点 开 
始 一 个 事务 ， 在 哪 一 个 时 间 点 被 其 他 会 话 锁定 ， 何 时 超时 等 。 执 行 的 结构 化 查询 语句 代 
表单 一 数据 库 会 话 在 其 生命 周期 中 执行 的 所 有 数据 库 操 作 。 锁 使 用 情况 代表 整个 数据 库 
服务 器 的 锁 资 源 使 用 和 变化 情况 。 此 外 ， 顺 序 扫 描 、 商 代价 查询 等 属性 也 是 代表 数据 库 
服务 器 性 能 的 重要 数据 。 

(5) 定位 资源 占用 较 大 的 事务 并 做 出 必要 的 优化 或 调整 

通过 对 数据 库 锁 使 用 情况 和 SQL 语句 的 执行 历史 进行 分 析 , 可 以 发 现 一 个 事务 同时 
占用 大 熏 数 据 库 锁 的 应 用 逻辑 事务 。 通 常 这 类 事务 都 属于 批 任务 。 由 于 批 任务 本 身 的 特 
性 ， 决 定 了 在 其 整个 执行 过 程 中 ， 必 然 消耗 大 量 资源 ， 最 好 将 其 放置 在 系统 具有 充分 空 
闲 时 间 时 进行 。 

(6) 定位 锁 冲 突 ， 修 改 锁 冲 突 发 生 严 重 的 应 用 过 加 

如 果 应 用 系统 锁 冲突 频繁 发 生 ， 那 么 该 系统 的 性 能 表现 不 可 能 令 人 满意 。 导 致 这 种 
问题 的 原因 非常 复杂 ， 主 要 表现 在 事务 粒度 过 大 、 响 应 时 间 过 长 、 异 类 事务 互相 影响 并 
形成 死 锁 等 情况 。 通 过 对 数据 库 锁 使 用 情况 信息 的 分 析 ， 可 以 定位 发 生 锁 溃 突 的 各 个 会 
话 ; 在 此 基础 上 对 发 生 锁 冲 突 的 会 话 各 自 的 执行 状态 变化 和 结构 化 查询 语句 进行 分 析 ， 
A ei et i as dal 

必须 对 其 本 身 特性 加 以 分 析 ， 确 定 是 否 本 身 粒度 过 大 ， 数 据 访问 是 否 存在 瓶颈 等 。 对 这 
奖 事务 的 亿 化 相对 儿 准 ， 一 骤 和 要 开发 人 员 的 经 验 和 对 应 用 加 本 身 将 人 的 了 名 

(7) 进行 必要 的 数据 分 布 

数据 分 布 的 主要 目的 是 ， 通 过 数据 库 服 务 器 的 并 行 执行 特性 ， 使 得 单一 事务 的 执行 
具有 较 短 的 响应 时 间 和 不 同类 的 事务 之 间 影 响 相 对 缩小 。 在 缩短 响应 时 间 方 面 ， 这 种 方 
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法 主要 适用 于 对 规模 较 大 的 数据 库 表 进行 访问 的 情况 。 它 不 仅 使 得 特定 的 查询 可 以 并 行 
执行 ， 而 且 有 可 能 改变 结构 化 碍 询 语句 的 执行 计划 ， 缩 小 查询 进行 的 范围 。 此 外 对 于 卉 
类 事务 之 间 ， 或 者 同类 事务 的 不 同 实例 锁 冲 突 频 过 的 问题 ， 可 以 通过 数据 分 布 加 以 解决 。 
. 数据库 性 能 问题 通常 表现 在 响应 时 间 过 长 ， 并 发 处 理 能 力 差 和 锁 冲 突 严 重 等 方面 ， 

其 原因 是 多 方面 的 。 本 书 提出 的 通过 监视 并 记录 应 用 系统 处 理 单元 性 能 相关 数据 ， 来 定 
位 性 能 问题 的 方法 , 可 以 帮助 开发 人 员 有 效 发 现 系统 中 存在 的 主要 性 能 问题 。 必须 指出 ， 
解决 数据 库 性 能 问题 是 一 个 迭代 和 往复 的 过 程 ， 通 芝 需要 在 各 种 条 件 的 地 慎之 同 叶 求全 
理 的 平衡 点 。 

S，Oracle 与 提高 性 能 有 关 的 特性 

下 面 将 以 Oracle 为 例 ， 讨 论 数据 库 优 化 的 一 些 方法 ， 对 于 其 他 的 数据 库 ， 由 于 其 实 
现 的 机 制 以 及 特性 可 能 与 Oracle 不 同 ， 那 么 优化 的 方法 也 会 有 所 不 同 ， 大 家 可 以 参照 其 
手册 ， 进 行 分 析 。 

虽然 这 些 方法 属于 数据 库 开 发 人 员 或 者 数据 库 管 理 人 员 优化 系统 的 方法 ， 但 是 如 果 
测试 人 员 了 解 这 些 方法 ， 就 可 以 更 好 地 分 析 、 定 位 数据 库 性 能 问题 ， 抽风 有 四 尖 信 的 六 
试用 例 。 

Oracle 与 提高 性 能 有 关 的 特性 主要 包括 : 索引 、 并 行 执行 、 谍 与 散 列 能、 分 区 、 多 
线程 服务 器 以 及 同时 读 取 多 块 数据 等 。 下 面 分 别 进行 介绍 。 

这 里 列 出 了 Oracle 配置 的 关键 参数 以 及 其 使 用 方法 。 

max_dspatchers; 指定 了 系统 多 许 同 时 进行 的 调度 进程 的 最 大 数量 。 

人 @ max_shared_servers: 指定 了 系统 允许 同时 进行 的 共享 服务 器 进程 的 最 大 数量 。 
如 果 系 统 中 出 现 的 人 为 死 锁 过 于 频繁 ， 那 么 管理 员 应 该 增 大 这 个 参数 的 值 。 

(@ parallel adaptive multi user: 当 该 参数 的 值 为 true 时 ， 系 统 将 启动 一 个 能 提高 使 
用 并 行 执行 的 多 用 户 系统 性 能 的 自 适应 算法 这 个 算法 将 根据 查询 开始 时 的 系统 负载 自 
动 降低 查询 请 求 的 并 行 度 。 

@ parallel automatic enabled: 如 果 将 该 参数 的 值 设 置 为 tue， 那 么 Oracle 将 确定 
控制 并 行 执行 的 参数 的 默认 值 。 

parllel broadcast_enabled: 该 参数 允许 管理 员 提 高 散 列 连接 和 合并 连接 操作 的 性 
能 ， 在 这 样 的 连接 操作 中 ， 系 统 将 一 个 大 尺寸 的 结果 集 与 一 个 小 尺寸 的 结果 集 连 接 在 一 
起 (在 合并 操作 中 ， 数 据 的 尺寸 是 根据 字 节 数 而 不 是 记录 数 确 定 的 )。 

parllel execution_message_size: 这 个 参数 指定 了 系统 并 行 执 行 时 的 消息 尺寸 
(在 Oracle 的 旧版 本 中 ， 这 个 概念 是 指 并 行 查询 、PDML、 并 行 恢复 和 并 行 复制 数 
据 等 )。 

(FD parllel max_servers: 指定 了 实例 能 同时 运行 的 并 行 执行 进程 和 并 行 恢复 进程 的 
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最 大 数量 。 随 着 用 户 需 求 的 增长 ， 在 创建 实例 时 ， 为 这 个 参数 设置 的 值 将 不 再 能 满足 用 
户 和 需求 ， 所 以 应 当 增 大 这 个 参数 的 值 。 

parliel min_percent: 系统 将 联合 使 用 parllel max _servers、parllel min_servers 和 
该 参数 。 这 个 参数 允许 指定 并 行 执行 进程 〈 即 参数 parllel_max_servers 之 值 》 的 壤 小 百 
分 比 。 

@ parllel_min_servers: 这 个 参数 指定 了 实例 并 行 执行 进程 的 最 小 数量 。 其 值 就 是 实 
例 启动 时 Oracle 创建 的 并 行 执行 进程 数 。 | 

@ parllel_threads_per_cpu: 指定 了 实例 默认 的 并 行 度 和 并 行 自 适应 以 及 负载 平衡 算 
法 。 它 指明 了 并 行 执行 过 程 中 一 个 CPU 能 处 理 的 进程 或 线程 数 。 

4D partition_view_enabled: 指定 了 优化 器 是 否 使 用 分 区 视图 。Oracle 推荐 用 户 使 用 
分 区 家 (这 是 在 Oracle8 之 后 引入 的 ) 而 不 是 分 区 视图 。 分 区 视图 只 是 为 了 提供 Oracle 
的 后 向 兼容 性 。 

@ revovery_parallelism: 这 个 参数 指定 了 恢复 数据 库 系统 时 使 用 的 进程 数 。 

(1) 索引 

在 数据 库 系 统 中 ， 索引 是 一 种 可 选 结构 ， 其 目 的 是 提高 数据 访 问 速度 。 利 用 索引 可 
提高 用 户 访问 数据 的 速度 ， 或 直接 从 索引 中 独立 检索 数据 。 如 果 对 索引 的 配置 和 使 用 进 
行 了 优化 ， 那 么 索引 能 大 大 降低 数据 文件 的 IO 操作 并 提高 系统 性 能 。 

但 是 在 为 一 个 表 创 建 索 引 之 后 ，Oracle 将 自动 维护 这 个 索引 。 当 用 户 在 表 中 插入 、 
更 新 或 删除 记录 时 ,系统 将 自动 更 新 与 该 表 相关 的 索引 。 一 个 表 可 以 有 任意 数量 的 索引 ， 
但 一 个 表 的 索引 越 多 , 用 户 在 该 表 中 插入 、 更 新 或 删除 记录 时 所 造成 的 系统 开销 也 越 大 。 
其 原因 是 无 论 何 时 更 新 表 ， 系 统 都 必须 更 新 与 之 相关 的 索引 。 : 

索引 是 建立 在 表 的 一 个 或 多 个 字段 之 上 的 。 索 引 的 作用 大 小 取决 于 该 字段 或 字段 集 
的 选择 性 。 所 谓 选择 性 ， 是 指 索 引 能 降低 数据 集中 的 程度 。 如 果 表 中 与 某 个 索引 相关 的 
字段 值 各 不 相同 ， 那 么 该 索引 就 有 很 好 的 选择 性 。 一 个 选择 性 很 差 的 索引 的 例子 ， 是 基 
于 字段 值 仅 为 tue/false 的 字段 创建 的 索引 ， 因 为 表 中 很 多 记录 该 字段 的 字段 值 都 相同 。 
一 个 索引 可 能 只 能 帮助 管理 员 降 低 检 索 的 记录 数 ， 而 不 能 惟一 地 确定 一 条 记录 。 例 如 : 
如 果 为 一 个 表 的 LastName 字段 创建 了 一 个 索引 , 现在 用 户 需要 搜索 John Smith, 那么 这 
个 索引 将 返回 LastName 字段 值 为 Smith 的 所 有 记录 ,因而 用 户 还 不 得 不 在 返回 的 记录 中 
搜索 含 John 的 记录 。 索 引 的 选择 性 越 好 ， 就 越 有 助 于 降低 返回 记录 的 数量 ， 从 而 提高 数 
据 访问 速度 。 下 面 介 绍 有 效 创建 和 使 用 索引 的 技巧 和 方法 。 

。 索引 和 降低 系统 处 理 的 数据 重 。 

索引 的 主要 作用 之 一 就 是 降低 系统 处 理 的 数据 量 . 对 CPU 使 用 和 等 待 完成 UO 操作 
的 时 间 上 , 1/O 操作 引起 的 系统 开销 都 是 非常 昂贵 的 。 降低 1/O 操作 可 提高 系统 性 能 和 处 
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理 能 力 。 如 果 不 使 用 索引 ， 那 么 为 了 找到 特定 的 数据 ， 系统 将 个 得 个 扫描 表 中 的 所 有 
数据 。 
例如 如 下 查询 语句 : . 


SELECT * 
FROM emp 
WHERE employee 1d=10290 


如 果 不 使 用 索引 ， 系 统 必须 扫描 整个 emp 表 并 检查 表 中 每 条 记录 的 employee id 字 
段 的 值 。 如 果 emp 表 很 大 ， 那 么 这 个 操作 可 能 意味 着 数量 巨大 的 VO 读 写 和 很 长 的 处 理 
时 间 。 

如 果 为 emp 表 的 employee id 字段 创建 了 索引 ， 那么 系统 将 遍历 该 索引 并 找到 用 户 
所 查询 记录 的 ID。 找 到 记录 ID 之 后 ， 只 需 一 条 额外 的 IO 操作 就 能 检索 到 用 户 所 需 的 
数据 。 

用 于 说 明 这 个 问题 的 最 好 例子 ， 是 只 需 查找 一 条 记录 的 情况 。 在 表 的 每 条 记录 中 ， 
类 似 employee id 这 样 的 字段 的 值 可 能 在 整个 表 中 都 是 惟一 的 。 这 意味 着 查询 结果 值 运 
回 一 条 记录 ， 这 种 查询 的 效率 是 非常 高 的 。 

在 某 些 情况 下 ， 索 引 必须 返回 大 量 数 据 。 如 下 面 的 例子 ; 

SELECT * 


. FROM customers 
WHERE region= “North’ 


这 个 查询 语句 很 可 能 返回 大 和 量 数 据 ， 因 为 索引 操作 返回 了 大 量 记 录 的 ID， 并 且 系 统 
必须 独立 访问 这 些 记录 的 ID, 所 以 这 种 情况 下 , 不 使 用 索引 可 能 比 使 用 索引 的 效率 更 商 ， 
直接 进行 表 扫 描 可 能 效率 更 高 。 不 同情 况 下 ， 采 用 哪 种 查寻 方法 更 好 ， 很 大 程度 上 取决 
于 表 的 数据 量 和 组 织 形 式 。 

对 于 不 同 的 数据 ， 在 某 些 情况 下 位 图 索引 可 能 非常 有 用 ， 而 在 另外 一 些 人 情况 下 ， 使 
用 位 图 索引 可 能 没有 任何 好 处 。 

e 索引 和 更 新 。 

如 果 对 表 创 建 了 索 引 , 那么 更 新 、 揪 入 和 删除 表 中 的 记录 都 将 导致 额外 的 系统 开销 。 
在 系统 提交 这 些 操 作 之 前 , , 系统 将 会 更 新 所 有 与 该 表 相关 的 索引 。 这 可 能 需要 花费 很 长 
时 间 ， 并 额外 增加 一 定 的 系统 开销 。 

e。 在 字段 选择 性 很 低 的 情况 下 适用 索引 。 

在 某 些 情况 下 ， 表 中 的 某 些 字段 的 选择 性 可 能 很 低 。 开 发 人 员 没 必要 为 所 有 表 创 建 
索引 ， 实 事 上 ， 在 某 些 情 况 下 索引 引起 的 问题 比 解 决 的 问题 更 多 。 在 很 多 情况 下 ， 逢 要 
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反复 试验 ， 才 能 确定 一 个 索引 是 否 有 助 于 提高 系统 性 能 。 

但 是 ， 位 图 索引 能 在 字段 选择 性 不 高 的 情况 下 工作 得 很 好 。 一 个 位 图 索引 可 以 和 其 
他 位 图 索引 联合 使 用 ， 以 降低 系统 检索 的 数据 集 。 对 于 某 些 值 为 true/false、yes/no 或 其 
他 小 范围 数据 的 字段 ， 建 立 位 图 索引 是 非常 合适 的 。 请 记 住 :位 图 索引 所 占用 的 空间 ， 
是 随 着 与 该 索引 相关 的 字段 的 不 同 值 的 数量 的 增加 而 增加 的 。 

如 果 决 定 创建 一 个 索引 ， 那 么 确定 为 哪些 字段 创建 索引 是 非常 重要 的 。 对 于 不 同 的 
表 ， 可 能 会 选择 一 个 或 多 个 子 段 创建 当中 ，。 可 使 用 如 下 方法 来 确定 在 哪些 字段 上 创建 
索引 : 

Q 选择 那些 最 常 出 现在 where 子 句 中 的 字段 。 经 常 被 访问 的 字段 最 可 能 受益 于 索引 。 

经 常用 于 连接 家 的 字段 是 创建 索引 的 必然 候选 字段 。 

(3) 必须 注意 索引 导致 的 查询 语句 性 能 的 提 商 与 更 新 数据 时 性 能 的 降低 之 问 的 平衡。 

@@ 经 常 被 修改 的 字段 不 适合 创建 索引 ， 其 原因 是 ， 更 新 索引 将 增加 系统 开销 。 

在 某 些 情况 下 ， 使 用 复合 索引 的 效率 可 能 比 使 用 简单 索引 的 效率 更 商 。 下 面 的 一 些 
例子 说 明了 应 当 在 何 种 情况 下 使 用 复合 索引 。 

某 两 个 字段 单独 来 看 都 不 具有 惟一 性 ， 但 结合 在 一 起 却 有 惟一 性 ， 那 么 这 种 情 
况 下 ， 复 合 索 引 将 工作 得 很 好 。 例 如 : A 字段 和 B 字段 都 几乎 没有 惟一 性 值 ， 但 绝 大 多 
数 情况 下 ， 字 段 A 和 B 的 某 个 特定 组 合 却 具 有 惟一 性 特点 。 那 么 在 检索 数据 时 ， 可 在 
where 子 句 重视 and 操作 符 来 将 这 两 个 字段 连接 在 一 起 。 

@ 如 果 select 语句 中 的 所 有 值 者 位 于 复合 索引 中 ， 那么 Oracle 将 不 会 检索 表 ， 而 直 
接 从 索引 中 返回 数据 。 . 

@) 如 果 多 个 查询 语句 的 where 子 句 中 作为 查询 条 件 的 字段 都 不 相同 ,但 返回 的 记录 
相同 ， 那 么 应 当 考 虑 利用 这 些 字段 创建 一 个 复合 索引 。 

在 创建 索引 之 后 ， 开 发 人 员 应 当 定 期 利用 SQL TRACE 工具 或 EXPLAIN PLAN 来 
察看 用 户 查 询 是 否 充分 利用 了 索引 。 很 有 必要 花费 一 定 精力 来 试验 使 用 索引 和 未 使 用 索 
. 引 在 效率 上 的 差别 ， 以 判断 索引 所 耗费 资源 是 否 物 有 所 值 。 

应 该 删除 那些 不 经 常 使 用 的 索引 。 可 使 用 aiter index monitoring usage 语句 来 跟踪 索 
引 的 使 用 情况 。 还 可 以 从 系统 表 all indexes、user indexes 和 dba indexes 中 碍 询 用 户 访 
问 索 引 的 频率 。 

如 果 为 一 个 不 适合 创建 索引 的 字段 或 表 创 建 了 索引 ， 那 么 这 可 能 会 导致 系统 能 力 的 
下 降 。 而 如 果 创建 的 索引 合理 ， 那 么 这 将 降低 系统 的 IO 操作 并 加 快 访问 速度 ， 从 而 大 
大 提高 系统 性 能 。 

(2) Oracle 的 并 行 执 行 特性 

Oracle9i 的 并 行 执行 特性 就 是 Oracle 旧版 本 中 读者 熟知 的 并 行 查询 选项 。 而 在 
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Oracle9i 中 ， 这 个 特性 已 内 幅 在 Oracle RDBMS 中 。 

为 什么 要 实现 并 行 执行 ? RDBMS 的 绝 大 多 数 操作 都 可 分 为 以 下 3 类 ; 

被 CPU 限制 的 操作 : 这 类 操作 的 速度 和 单 CPU 运行 速度 一 样 。 通 过 并 行 化 操 
作 ， 多 个 CPU 可 并 行 处 理 系统 负载 ， 因 此 可 以 更 快 完成 该 操作 。 

被 IO 限制 的 操作 ， 这 类 操作 花费 了 绝 大 部 分 时 间 等 待 系 统 完成 IO 操作。 当 系 
统 中 同时 出 现 多 个 IO 请 求 时 ， 绝 大 多 数 raid 控制 器 将 很 好 地 工作 。 另 外 ， 当 一 个 线程 
需要 等 待 完成 IO 操作 时 ， 可 充分 利用 CPU 来 处 理 另 一 线程 的 CPU 部 分 。 

@ 被 竞争 限制 的 操作 :并行 处 理 不 能 改善 由 资源 竞争 所 限制 的 操作 。 

对 表 扫 描 而 言 ， 系 统 花费 在 等 待 数据 从 磁盘 返回 的 时 间 常 常 比 处 理 数据 所 花费 的 时 
间 还 长 。 通 过 并 行 机 制 ， 可 用 多 个 服务 器 进程 处 理 查 询 操 作 ， 从 而 弥补 了 系统 在 这 方面 
的 问题 。 当 一 个 进程 在 等 待 IO 操作 时 ，CPU 可 执行 另 一 个 进程 。 如 果 数 据 库 系统 运行 
在 对 称 多 处 理 器 (Symmetric Multiprocessor，SMP) 计算 机 、 计 算 机 群集 或 大 规模 并 行 
处 理 (Massive Parallel Processing，MMP ) 计算 机 .上 ， 人 并 行 处 
理 机 制 的 优势 。 

并 行 执行 使 Oracle 的 某 些 功能 由 多 个 服务 器 进程 协 问 处 理 成 为 可 能， 这 些 功 能 包括 
查询 、 创 建 索引 、 加 载 数据 和 恢复 数据 库 。 所 有 这 些 功能 都 遵循 一 个 共同 规则 ， 即 充分 
利用 CPU 资源 。 

e 并 行 查询 处 理 。 

并 行 查询 处 理 允 许多 个 服务 器 进程 以 并 行 方式 处 理 某 些 Oracle 语句 。 

并 行 查询 操作 将 该 查询 分 为 几 个 不 同 的 部 分 ， 每 部 分 由 不 同 的 服务 器 进程 进行 处 
理 。 这 些 进 程 称 为 查询 服务 器 。 一 个 被 称 为 “查询 协调 者 ”的 进程 负责 调度 这 些 查 询 服 
务 器 。 系 统 将 一 个 SQL 语句 和 一 个 并 行 度 提交 给 查询 协调 进程 ， 而 协调 进程 则 负责 将 该 
查询 分 配给 查询 服务 器 ， 并 将 每 个 查询 服务 器 返回 的 结果 组 合成 一 个 整体 。 并 行 度 是 指 
分 配给 该 查询 的 查询 服务 器 数 熏 。Oracle 本 的 出 汪 人 排序 以 及 表 扫 描 操作 实现 并 
行 执行 。 

在 多 处 理 器 或 并 行 处 理 计 算 机 上 ， 并 行 查询 操作 是 非常 有 效 的 ， 在 单 处 理 器 计算 机 
上 ， 如 果 大 部 分 时 间 都 花 在 了 等 待 系统 完成 IO 操作 上 ， 那 么 使 用 并 行 查询 也 是 非常 有 
效 的 。 具 有 足够 WO 带宽 的 系统 ， 尤 其 是 使 用 磁盘 阵列 的 系统 ， 都 能 够 从 并 行 查 询 操作 
中 受益 。 

如 果 通 常情 况 下 系统 CPU 的 使 用 率 达到 了 100%, 并 且 系 统 中 只 有 少量 磁盘 驱动 器 ， 
那么 使 用 并 行 查 询 是 没什么 意义 的 。 同 样 ， 如 果 系 统 的 内 存 非 常 紧 张 ， 那 么 并 行 查询 也 
没有 多 大 意义 。 

在 并 行 查询 中 ， 合 理 的 IO 分 布 和 并 行 度 是 最 希 要 调整 的 两 个 方面 。 对 并 行 度 的 调 


www.TopSage.com 


第 8 章 “应 用 负载 压力 测试 。 327 


整 一 方面 需要 反复 的 试验 ， 另 一 方面 还 需要 一 定 的 分 析 。 应 当 首 先 根据 如 下 一 些 因素 考 
虑 并 行 度 。 

Q( 计算 机 的 CPU 能 力 ， CPU 的 数量 和 能 力 将 影响 系统 能 运行 的 查询 进程 数量 。 

@ 系统 处 理 大 量 进程 的 能 力 : 一 些 操作 系统 能 处 理 很 多 并 发 进程 ， 而 另 一 些 操作 
系统 则 没有 这 方面 的 能 力 。 

@@ 系统 负载 ， 如 果 系 统 现在 的 运行 已 经 达到 了 极限 ， 那 么 对 并 行 度 的 调整 不 会 有 
太 大 效果 。 如 果 系 统 运行 已 达 其 能 力 极限 的 90%， 那 么 太 多 的 查询 进程 将 使 系统 不 堪 
重负 。 | 

二 系统 处 理 的 查询 数量 ， 如果 系统 的 大 部 分 操作 是 更 新 操作 ， 但 仍 有 少量 的 重要 
查询 存在 ， 那 么 开发 人 员 可 能 希望 系统 运行 多 个 查询 进程 。 

名 系统 的 IO 能 力 : 如 果 磁 盘 土 的 数据 是 分 片 或 是 使 用 磁盘 阵列 存储 的 ， 那么 系统 
能 够 处 理 多 个 并 行 查询 。 

@ 操作 类 型 ， 系统 是 否 需 要 处 理 很 多 的 全 表 扫 描 或 排序 ? 并 行 查询 服务 器 非常 有 
助 于 这 类 操作 。 

这 些 因素 对 系统 采用 的 查询 并 行 度 有 一 定 影响 。 下 面 是 关于 并 行 度 的 另 一 些 建议 。 

QD 诸如 排序 之 类 的 ， 需 要 大 最 CPU 资源 的 操作 应 当 采 用 较 低 的 并 行 度 。 其 原因 是 
这 类 受 限 于 CPU 的 操作 已 经 充分 利用 了 CPU， 而 不 需 等 待 系统 的 IO 操作 。 

@ 诸如 全 家 扫描 之 类 的 ,需要 大 量 磁 盘 IO 的 操作 ， 应 当 采 用 较 高 的 并 行 度 。 需 要 
等 待 磁盘 IO 的 操作 越 多 ， 系 统 就 越 能 受益 于 并 行 操作 。 

@) 如 果 系 统 中 有 大 量 的 并 发 进程 ， 那 么 应 当 采 用 较 低 的 并 行 度 。 因 为 太 多 的 进程 
将 使 系统 不 堪 重 负 。 

在 确定 使 用 并 行 操作 之 后 ， 读 者 可 通过 查询 动态 性 能 视图 VSPQ_SYSSTAT 来 监控 

。 并行 创建 索引 。 

并 行 查询 的 另 一 个 特征 是 以 并 行 方 式 创建 索引 的 能 力 。 通 过 这 个 特性 ， 系 统 用 于 
创建 索引 的 时 间 将 大 大 减少 。 类 似 于 并 行 查询 操作 ， 并 行 创建 索引 操作 也 有 两 组 查询 
服务 器 。 其 中 一 组 查询 服务 器 的 功能 是 扫描 需要 创建 索引 的 表 ， 以 获得 ROWID 和 与 
索引 相关 的 字段 值 ， 另 一 组 查询 服务 器 则 对 第 一 组 查询 服务 器 所 得 到 的 值 进行 排序 ， 
并 将 排序 后 的 结果 传递 给 协调 进程 。 而 协调 进程 再 根据 这 些 排 序 之 后 的 条 目 创 建 B 树 
索引 。 

。 并 行 加 载 数 据 。 

通过 使 用 多 个 并 发 会 话 同时 往 同 一 个 表 中 写 数 据 ， 可 实现 数据 加 载 的 并 行 化 。 对 于 
不 同 的 系统 配置 ， 通 过 并 行 方式 加 载 数 据 ， 可 以 提高 数据 加 载 性 能 。 因 为 加 载 数据 不 仅 
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需要 大 量 的 CPU 资源 而 且 还 需要 大 量 的 IO 操作 , 所 以 并 行 化 数据 加 载 将 提高 数据 加 载 
的 性 能 。 并 行 化 数据 加 载 将 通过 多 个 直接 加 载 器 进程 实现 。 

并 行 加 载 数 据 是 非常 有 用 的 ， 特 别 是 在 数据 加 载 时 间 很 紧张 的 环境 中 尤其 如 此 。 通 
过 将 每 个 输入 文件 放置 在 不 同 的 卷 上 ， 可 提高 并 行 加 载 数据 的 性 能 。 并 行 查询 操作 中 所 
有 的 通用 调整 原则 都 是 用 于 并 行 加 载 数据 操作 的 。 

。 并行 恢 复 。 

并 行 恢复 是 并 行 查询 选项 的 一 个 非常 重要 的 特性 。 在 评估 Oracle 和 测试 软 硬 件 时 ， 
需要 有 意 地 使 系统 崩溃 ， 以 检验 系统 的 可 恢复 性 。 通 过 使 用 并 行 恢复 选项 ， 恢 复数 据 库 
和 实例 的 时 间 将 大 大 缩短 。 当 被 恢复 的 系统 有 很 多 磁盘 并 支持 异步 IO 操作 时 ， 系 统 恢 
复 所 用 的 时 间 将 会 大 大 缩短 。 对 于 只 有 很 少 磁盘 的 小 系统 或 不 支持 异步 IO 的 系统 ， 采 
用 并 行 方式 恢复 系统 是 不 明智 的 。 在 并 行 恢复 方式 中 ， 一 个 进程 负责 从 重 做 日 志 中 读 取 
和 调度 重 做 入 口 ， 并 将 这 些 入 口传 递 给 恢复 进程 。 而 恢复 进程 则 负责 将 用 户 对 数据 库 所 
作 的 修改 写 进 数据 库 中 。 ， 

总 之 ， 在 平衡 操作 负载 方面 并 行 查询 选项 是 非常 有 用 的 ， 当 其 他 进程 在 等 待 系 统 完 
成 IO 操作 时 ， 并 行 查询 可 使 CPU 转 而 处 理 其 他 进程 ， 从 而 充分 利用 系统 的 CPU 资源 。 
对 于 多 处 理 器 计算 机 ， 使 用 并 行 查 询 是 非常 有 用 的 ， 但 这 并 不 是 说 并 行 查 询 不 能 用 于 单 
处 理 器 计算 机 。 

(3) 簇 

馈 (cluster)， 有 时 被 称 为 索引 簇 ， 是 Oracle 数据 库 中 用 于 存储 表 的 一 种 方法 。 在 一 
个 簇 中 ， 系 统 将 多 个 相关 的 表 存 储 在 一 起 ， 以 缩短 用 户 访 问 相 关 记 录 的 时 间 。 只 有 当 这 
些 相 关 表 经 常 被 同时 访问 时 ， 才 适合 使 用 簇 。 对 用 户 和 应 用 程序 而 言 ， 黎 的 存在 是 透明 
的 ， 笋 只 影响 数据 的 存储 方式 。 

在 某 些 情况 下 使 用 簇 是 非常 有 利 的 , 而 在 男 外 一 些 情况 下 , 使 用 筷 却 可 能 非常 不 利 。 
应 当 仔 细 考 虑 簇 是 否 有 助 于 提高 系统 性 能 。 一 般 而 言 ， 如 果 和 集中 存放 的 数据 主要 用 于 连 
接 表 中 ， 那 么 使 用 簇 是 很 好 的 。 如 果 两 个 表 存 放 了 相关 数据 ， 并 且 这 两 个 表 经 常 被 同时 
访问 ， 那 么 通过 使 用 灸 可 将 相关 数据 预 装 入 SGA 中 ， 从 而 提高 用 户 访 问 数据 的 性 能 。 
因为 开发 人 员 经 常 同时 使 用 这 两 个 表 ， 所 以 在 用 户 访 问 其 中 一 个 表 时 ， 将 田 一 个 表 的 数 
据 也 放 入 SGA 中 ， 可 大 大 缩短 用 户 访问 数据 的 时 间 。 如 果 一 般 情况 下 开发 人 员 不 会 同 
时 使 用 这 些 信息 ， 那 么 簇 将 不 能 提高 系统 性 能 ， 并 且 这 种 情况 下 ， 簇 实际 上 会 导致 系统 
性 能 的 轻微 下 降 ， 其 原因 是 额外 的 表 信 息 将 占据 更 多 的 SGA 空间 。 簇 的 另 一 个 不 足 之 
处 在 于 ， 当 用 户 执 行 insert 语句 时 将 降低 系统 性 能 。 引 起 性 能 下 降 的 原因 是 簇 在 使 用 存 
储 空间 上 采用 的 方法 更 加 复杂 ， 并 且 系 统 需 要 将 多 个 表 存 储 在 同一 个 数据 块 中 。 簇 表 比 
单个 表 占 用 了 更 多 的 存储 空间 ， 这 将 导致 系统 扫描 更 多 的 数据 。 另 外 如 果 系 统 经 常 对 这 
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些 表 中 的 某 一 个 表 作 全 表 扫 描 ， 那 么 不 应 当 为 这 些 表 创建 徐 。 因 为 如 果 创 建 了 簇 ， 那 么 
额外 数据 将 占用 SGA 的 部 分 空间 并 导致 额外 的 IO 操作 , 这 两 方面 的 原因 都 会 降低 系统 
性 能 。 

(4) 散 列 徐 

散 列 灸 和 黎 非 常 相似 ， 但 散 列 艇 采用 散 列 函数 而 不 是 索 引 访问 能 刍 。 散 列 簇 根据 散 
列 函 数 的 计算 结果 保存 数据 。 散 列 函数 是 一 个 数学 函数 ， 这 个 函数 根据 散 列 键 的 值 来 确 
定 簇 中 的 数据 块 。 

尽管 可 以 以 类 似 于 索引 簇 的 方式 创建 散 列 镶 ， 但 不 必 为 所 有 表 创 建 散 列 艇 。 实际 上 ， 
更 经 常 做 的 是 为 一 个 单独 的 表 创 建 散 列 簇 ， 以 利用 散 列 簇 的 特性 。 通 过 使 用 散 列 索引 ， 
系统 只 需 一 次 IO 操作 ， 系 统 就 能 检索 到 用 户 所 需 数据 ， 如 果 使 用 B 索引 ， 系 统 需 要 多 
次 IO 操作 才能 检索 到 需要 的 数据 。 适 合 创 建 散 列 艇 的 表 应 具有 以 下 特征 : 

。 入 键 值 具有 惟一 性 。 

。 用 户 对 表 的 大 部 分 查询 都 是 关于 键 值 的 等 式 查 询 。 

。 表 的 尺寸 是 静态 的 ， 几 乎 不 会 出 现任 何 增长 。 

。 ” 簇 的 键 值 不 会 发 生 任何 变化 。 

一 个 适合 于 创建 散 列 入 的 典型 例子 是 一 个 用 于 存储 零件 信息 的 家。 通过 建立 一 个 关 
于 零件 号 的 散 列 键 值 ， 用 户 对 该 表 的 访问 将 非常 有 效 而 且 非 常 快 。 任 何 时 候 ， 如 果 系 统 
中 有 一 个 静态 的 表 ， 其 中 的 一 个 或 多 个 字段 的 值 具有 惟一 性 特征 ， A 
表 创 建 散 列 簇 。 

和 索引 簇 一 样 ， 使 用 散 列 簇 既 有 优点 也 有 不 足 。 当 用 户 使 用 关于 簇 键 的 等 式 查询 检 
索 数 据 时 ， 散 列 徐 具 有 很 高 的 效率 。 如 果 用 户 不 是 根据 簇 键 值 检索 数据 ， 那 么 这 个 查询 
就 不 能 被 散 列 化 。 这 就 像 在 索引 簇 中 见 到 的 那样 ， 当 在 敬 列 税 表 中 使 用 insert 语句 时 ， 
将 降低 系统 性 能 。 

“(5) 同时 读 取 多 块 数据 

当 系统 执行 表 扫描 时 ，Oracle 具备 同时 读 取 多 个 数据 块 的 能 力 ， 这 种 能 力 提 高 了 系 
统 的 IO 速度 。 通 过 同时 读 取 多 块 数据 ，Oracle 能 够 从 磁盘 上 读 取 更 大 的 数据 块 ， 从 而 
避免 了 对 磁盘 上 数据 进行 搜索 的 操作 。 通 过 降低 磁盘 搜索 和 读 取 更 大 的 数据 块 ， 可 以 降 
低 系统 的 WO 开销 和 CPU 开销 。 

Oracle 的 这 个 特性 被 称 为 多 块 读 取 。 只 有 对 于 连续 数据 块 ， 多 块 读 取 特性 才 有 助 于 
提高 系统 性 能 。 通 常情 况 下 ， 一 个 盘 区 内 的 数据 块 都 是 连续 的 。 如 果 数 据 存放 在 多 个 小 
盘 区 上 ， 那 么 多 块 读 取 的 性 能 将 会 降低 。 

Oracle 初始 化 参数 db-file-multiblock-read-count 指定 了 一 次 多 块 读 取 能 读 取 的 数据 
量 。 因 为 这 个 参数 几乎 不 会 导致 系统 性 能 的 下 降 ， 所 以 一 般 情况 下 ， 都 将 这 个 参数 的 值 
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设置 得 很 高 。IO 的 尺寸 取决 于 初始 化 参数 db-file-multiblock-read-count 和 db-block-size 
的 值 。 z 
为 了 充分 发 挥 多 块 读 取 数 据 的 优势 ， 应 当 尽 量 配 置 自己 的 系统 以 使 数据 库 的 块 尽 可 
能 都 是 连续 的 。 为 了 做 到 这 一 点 ， 应 当 使 用 优化 尺寸 的 盘 区 来 创建 数据 库 。 盘 区 的 尺寸 
应 当 远 大 于 一 次 多 块 读 取 操作 所 读 取 的 数据 的 尺寸 。 
(6) 分 区 
分 区 (partition) 这 一 特性 的 目的 是 允许 大 尺寸 表 或 索引 分 解 成 小 的 更 容易 管理 的 部 
分 ， 即 分 区 。 与 原来 的 表 或 索引 相 比 ， 因 为 分 区 变 小 了 ， 所 以 系统 访问 分 区 的 速度 更 快 、 
效率 也 更 商 ，. 可 将 分 区 想象 成 表 或 索引 被 分 解 之 后 的 多 个 小 尺寸 的 表 或 索引 。 系 统 可 单 
独 访问 这 些小 尺寸 的 表 或 索引 ， 也 可 以 以 组 或 整体 方式 访问 之 。 
可 使 用 多 种 分 区 方案 来 创建 分 区 。 这 些 方案 确定 了 如 何 将 数据 分 解 成 分 区 。 可 使 用 
如 下 一 些 方案 。 
e。 Range Partitioning: 这 种 方案 根据 数据 的 范围 ， 比 如 月 、 年 等 对 表 中 的 数据 进行 
分 区 。 
。 List Partitioning; 这 种 方案 和 Range Partitioning 分 区 方案 很 类 似 , 但 这 种 方案 是 
按照 数据 的 值 ， 而 不 是 数据 的 范围 来 进行 划分 的 。 
。 Hash Partitioning: 这 种 分 区 方案 使 用 散 列 函数 来 实现 对 数据 的 自动 分 区 。 
。 ”Sub-Partitioning: 这 种 方法 就 是 开发 人 员 邵 悉 的 复合 分 区 方法 。 这 种 方法 允许 开 
发 人 员 同 时 使 用 多 种 分 区 方案 。 
分 区 有 以 下 几 方 面 的 优点 。 
对 能 被 分 区 的 大 尺寸 表 进 行 扫描 时 ， 分 区 可 降低 IO 操作 和 CPU 的 使 用 率 。 
可 在 分 区 的 层次 上 而 不 是 表 的 层次 上 加 载 数据 。 
能 以 删除 分 区 的 方式 删除 数据 ， 而 不 必 使 用 select 语句 来 删除 大 量 数 据 。 
对 用 户 和 应 用 程序 而 言 ， 分 区 是 完全 透明 的 。 
可 在 分 区 层次 上 而 不 是 在 表层 次 上 维护 数据 。 
在 很 多 环境 中 ， 这 些 好 处 能 极 大 地 提高 系统 性 能 。 
(7) 多 线程 服务 器 
用 户 可 通过 专用 服务 器 进程 连接 到 Oracle 实例 ,也 可 以 通过 多 线程 服务 器 进程 连接 
到 Oracle 实例 。 因 为 每 一 个 专用 服务 器 进程 都 将 占用 大 量 内 存 资源 和 系统 资源 ， 所 以 有 
必要 对 多 用 户 连接 采用 多 线程 服务 器 进程 。 
多 线程 服务 器 进程 允许 多 个 用 户 使 用 一 定数 重 的 共享 服务 器 进程 。 所 有 对 共享 服务 
器 的 请 求 都 必须 经 过 调度 进程 ， 这 个 过 程 对 SGA 大 缓冲 池 中 的 用 户 对 共享 服务 器 进程 
的 请 求 进行 排队 。 当 系统 处 理 完 用 户 请 求 后 ， 系 统 通 过 SGA 中 的 大 缓冲 池 将 请 求 结 果 
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返回 给 调度 进程 。 

因为 共享 服务 器 进程 使 用 共享 缓冲 池 对 用 户 请 求 进行 排队 并 返回 数据 ， 从 而 大 大 减 
少 CPU 和 内 存 的 使 用 。 然而 , 正如 读者 所 猜想 的 那样 , 多 线程 服务 器 也 会 增加 系统 开销 。 
这 就 是 为 什么 执行 需要 很 长 时 间 的 批 处 理 作 业 时 ， 使 用 专用 服务 器 的 原因 。 

对 配置 和 调整 多 线程 服务 器 ， 和 需要 调整 参数 文件 中 的 参数 。 还 应 当 小 心 监控 系统 的 
大 缓冲 池 ， 以 确保 系统 的 运行 没有 超出 分 配给 它 的 内 存 空间 。 

应 当 尽 量 监 控 只 有 少量 用 户 的 共享 会 话 所 使 用 的 内 存 。 监 控 结 果 将 会 告知 共享 会 话 
使 用 了 多 少 内 存 。 利 用 这 些 数据 ， 就 能 个 算 所 有 会 话 总 夫 种 要 多 少 让 存 。 可 通过 下 面 的 
SQL 语句 获得 这 些 信息 ; 


SELECTI SUM(valvue) || ‘bytes” “Memory” 
FROM v$sesstat,vSstatname 

WHERE name ="'session memory’ 

AND vS$sesstat.statistic#—=v$statname.statistic#; 


上 面 语句 的 输出 结果 告诉 开发 人 员 使 用 了 多 少 内 存 。 将 使 用 的 总 内 存量 除 以 连接 
数 ， 就 可 确定 每 个 会 话 使 用 的 内 存 数量 。 然 后 就 可 从 每 个 会 话 使 用 的 内 存量 来 推算 为 了 
支持 系统 的 所 有 会 话 ， 需 要 为 系统 的 大 缓冲 池 分 配 多 大 内 存 空间 。 
如 果 认 为 大 缓冲 池 的 内 存 太 少 ， 那 么 可 通过 调整 初始 化 参数 large_pool-size 来 增加 
大 缓冲 池 的 内 存 空间 。 请 记 住 ; 除 多 线程 服务 器 之 外 ， 系统 还 使 用 大 缓冲 池 来 执行 并 行 
查询 操作 。 
初始 化 参数 mts_dispatchers 决定 了 每 个 网 络 协 议 使 用 的 调度 进程 的 数量 。 通 过 提高 
这 个 参数 的 值 ， 可 能 会 看 到 用 户 会 话 的 性 能 得 到 了 提高 ， 其 原因 是 用 户 会 话 不 再 需要 等 
待 可 用 调度 进程 。 
除 前 面 讨 论 的 参数 之 外 ， 还 有 如 下 一 些 参数 与 多 线程 服务 器 有 关 。 
。 mts_max-dispatcher: 实例 能 创建 的 调度 进程 的 最 大 数量 。 这 里 的 调度 进程 包括 
所 有 网 络 协议 的 调度 进程 。 
。 mts_servers; 实例 刚 启动 时 的 共享 服务 器 进程 数 。 如 果 将 这 个 参数 设置 为 0， 那 
么 Oracle 将 不 会 是 用 共享 服务 器 进程 。 为 了 满足 系统 需要 ， 共享 服务 器 进程 的 
数量 将 会 动态 增长 。 
。 mtx_max_servers: 这 个 参数 指定 了 实例 中 允许 运行 的 共享 服务 器 进程 的 最 大 
数量 。 
如 果 应 用 程序 能 利用 簇 和 索引 的 优势 ， 那 么 艇 和 索引 将 有 助 于 提高 系统 性 能 。 如 果 
应 用 程序 使 用 了 索引 而 又 需要 频繁 更 新 数据 ， 那 么 这 样 的 索引 将 会 降低 系统 性 能 ， 其 原 
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因 是 在 数据 更 新 的 同时 ， 系 统 也 需要 更 新 索引 。 同 样 地 ， 如 果 用 户 的 数据 访问 模式 使 用 
了 煞 ， 那 么 能 将 会 有 助 于 提高 系统 性 能 ， 反 之 ， 黎 将 会 成 为 系统 的 负担 。 

Oracle 并 行 查询 选项 和 并 行 服务 器 选项 能 极 大 地 提高 系统 性 能 。 通 过 将 查询 分 配 成 
多 个 服务 器 进程 ,并行 查询 选项 提供 了 一 种 提高 系统 CPU 使 用 率 的 机 制 。 并 行 服务 器 为 
开发 人 员 提供 了 一 个 健壮 的 可 升级 的 服务 器 群集 功能 ， 这 个 特性 不 仅 能 提高 系统 性 能 ， 
还 为 系统 提供 了 立即 排除 错误 的 能 力 。 应 用 程序 和 需求 将 决定 这 些 特 性 是 否 有 助 于 提高 
系统 性 能 。 在 调整 系统 时 ， 非 常 重要 的 一 点 是 需要 注意 调整 系统 所 冒 的 风险 。 在 前 面 的 
内 容 介绍 中 ， 我 们 讨论 了 不 同 的 系统 调整 主体 ， 例 如 共享 内 存 池 的 尺寸 和 数据 块 缓冲 区 
等 。 提 高 共享 内 存 池 和 数据 库 缓冲 区 的 尺寸 将 会 提高 缓冲 区 的 命中 率 ， 但 这 样 的 调整 也 
存在 着 损害 系统 性 能 的 风险 。 然 而 ， 如 果 读 者 对 某 些 系统 特性 配置 得 不 正确 ， 那 么 它们 
对 系统 性 能 造成 的 负面 影响 会 更 大 。 任 何 时 候 调 整 系统 ， 都 应 当 预 先 估计 该 调整 所 面临 
的 风险 ， 特 别 是 在 没 经 过 详细 测试 就 对 生产 系统 进行 调整 时 更 是 如 此 。 

如 果 对 系统 需要 调整 的 方面 和 该 调整 所 影响 的 方面 进行 了 仔细 考虑 ， 并 对 应 用 程序 
的 数据 访问 模式 有 深入 的 了 解 ， 那 么 可 以 将 调整 面临 的 风险 降 到 最 小 。 应 当 仔细 考虑 对 
系统 所 作 的 修改 将 会 对 系统 造成 的 影响 ， 并 尽量 了 解 系统 修改 对 应 用 程序 的 影响 。 只 有 
这 样 ， 才 能 在 优化 系统 性 能 的 同时 ， 将 系统 调整 的 风险 降 到 最 低 。 

6. 测试 报告 : 

一 般 情况 下 ， 在 测试 的 标志 性 阶段 或 者 测试 结束 时 需要 出 具 测 试 报告 ， 测 试 报告 是 
整个 测试 的 总 结 ， 其 主要 作用 是 描述 测试 结果 。 测 试 报告 的 格式 可 以 不 拘 一 格 ， 但 需要 
验证 是 否 包括 以 下 关 刍 扩容: 


报告 术语 解释 。 
这 些 内 容 在 前 面 都 有 过 详细 论述 ， 这 里 不 再 次 述 。 


8.5 负载 压力 测试 技巧 


8.5.1 参数 池 技 术 


录制 业务 流程 时 ， 测 试 工具 生成 一 个 由 函数 构成 的 Vuser 脚本 。 函 数 中 参数 的 值 
是 录制 期 间 使 用 的 实际 值 。 例如 , 假设 在 操作 Web 应 用 程序 时 录制 了 一 个 Vuser 脚本 。 
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VuGen 生成 下 列 语句 ， 在 库 的 数据 库 中 搜索 标题 “UNIX”， 使 用 多 个 Vuser 和 人 迭代 来 重 
播 该 脚本 时 ， 如 果 不 想 重复 使 用 相同 的 值 “UNIX?”， 那 么 可 以 用 参数 来 替换 该 常量 值 。 


web_submit_form( db2net.exe ， 
ITEMDATA， 

"name=library. TITLE"， 
Value=UNIX ， 

ENDITEM, 
"name=library. AUTHOR ， 
"value=", 
ENDITEM, 
"name=library. SUBJECT", 
"value=", 
ENDITEM, 
LAST), | | 


web submit form("db2net.exe", 
ITEMDATA， 
"name=library. TITLE", 
"value=(Book_ Title)", 
ENDITEM， 
"name=library. AUTHOR", 
"value=", 
ENDITEM, 
"name=library. SUBJECT", 
"value=", 
ENDITEM, 
LAST); 


土 例 中 可 以 用 参数 “Book_Title ”来 替换 常量 值 “UNIX”， 然 后 ， 生 成 的 Vuser 使 用 
指定 的 数据 源 中 的 值 来 替换 参数 。 该 数据 源 可 以 是 一 个 文件 或 者 内 部 生成 的 变量 。 

对 Vuser 脚本 进行 参数 化 有 两 个 好 处 ; 

。 减 小 脚本 的 大 小 。 

。 提供 了 使 用 不 同 的 值 测试 脚本 的 能 力 。 例 如 ， 如 果 要 在 数据 库 中 搜索 几 个 标题 ， 
只 须 写 一 次 提交 函数 ， 在 函数 中 使 用 参数 ， 而 不 是 指示 Vuser T 搜索 一 个 特定 的 

标题 重播 期 间 ，VuGen 用 不 同 的 值 替 换 该 参数 。 
参数 化 涉及 下 列 两 个 任务 : 
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e “用 参数 替换 Vuser 脚本 中 的 常量 值 ; 

。 为 参数 设置 属性 和 数据 源 。 

下 面谈 谈 数 据 源 的 问题 。 可 以 选择 一 个 文件 作为 参数 值 的 源 ， 一 个 常见 的 使 用 参数 
的 方法 是 指示 Vuser 从 外 部 文件 中 取 值 。 可 以 执行 下 列 步骤 。 

e 选择 或 者 创建 数据 文件 ; 

。 设置 参数 的 属性 。 

还 可 以 从 现 有 数据 库 中 导入 数据 ， 用 于 参数 化 。 可 以 用 下 列 两 种 方法 中 的 一 种 导入 
数据 。 

。 新 建 查询 ; 

。 指定 SQL 语句 。 


8.5.2 ”将 事务 插 人 到 Vuser 脚本 


可 以 定义 事务 以 度量 服务 器 的 性 能 。 每 个 事务 度量 服务 器 响应 指定 的 Vuser 请 求 所 
用 的 时 间 。 这 些 请 求 可 以 是 简单 任务 〈 例 如 等 待 对 单个 查询 的 响应 )， 也 可 以 是 复杂 任务 
(例如 提交 多 个 查询 和 生成 报告 )。 要 度 重 事务 ， 需 要 插入 Vuser 函数 以 标记 任务 的 开始 
和 结束 。 在 脚本 内 ， 可 以 标记 的 事务 不 受 数量 限制 ， 每 个 事务 的 名 称 都 不 同 。 在 方案 执 
行 期 间 ， 主 控 台 将 度量 执行 每 个 事务 所 用 的 时 间 。 场 景 运行 后 ， 可 使 用 测试 工具 的 图 和 
报告 来 分 析 各 个 事务 的 服务 器 性 能 。 


8.5.3 ”将 集合 点 插 人 到 Vuser 脚本 


要 在 系统 上 模拟 较 重 的 用 户 负 载 ， 需 要 同步 各 个 Vuser 以 便 在 同一 时 刻 执行 任务 。 
通过 创建 集合 点 ， 可 以 确保 多 个 Vuser 同时 执行 操作 。 当 某 个 Vuser 到 达 该 集合 点 时 ， 
主 控 台 会 将 其 保留 ， 直 到 参与 该 集合 的 全 部 Vuser 都 到 达 。 当 满足 集合 条 件 时 ， 主 控 台 
将 释放 Vuser。 

可 通过 将 集合 点 插入 到 Vuser 脚本 来 指定 会 合 位 置 。 在 Vuser 执行 脚本 并 过 到 集合 
点 时 ， 脚 本 将 暂停 执行 ，Vuser 将 等 待 主 控 台 允许 继续 执行 命令 。 


8.5.4 手工 关联 


这 一 小 节 我 们 主要 解决 动态 数据 所 导致 的 问题 ， 即 利用 测试 工具 的 逢 本 本 脾 如 何 关 
联动 态 且 不 可 人 工 预知 的 值 。 

系统 的 输出 值 需 要 为 后 续 操作 提供 输入 , 这 些 值 只 对 当前 会 话 有 效 。 举 例 说 明 如 下 。 

e 系统 产生 的 SessionID; 

e 每 次 访问 Web 页 面 的 动态 URL: 
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。 表单 提交 期 间 录 制 的 Field (有 时 会 隐藏 )。 

解决 办 法 如 下 。 

e。 从 一 个 操作 步 又 中 捕捉 输出 值 ; 

。 该 值 用 于 另 一 个 步骤 的 输入 。 

关联 数据 先是 由 服务 器 发 给 客户 端 ， 之 后 客户 端 又 会 将 该 数据 返回 服务 器 。 例 如 
SessionID， 它 是 脚本 中 的 一 段 代 码 ， 为 录制 的 会 话 服务 ， 但 却 不 能 用 于 回放 的 会 话 。 

下 面 提供 几 种 关联 数据 的 方法 。 

。 手工 关联 ; 

e。 录制 结束 后 目 动 关 联 ; 

。 录制 过 程 中 自动 关联 。 

在 Vuser 脚本 中 关联 动态 数据 的 步骤 如 下 。 

。 确定 震 要 捕 提 的 值 。 

Q 创建 两 个 虚拟 用 户 。 这 两 个 用 户 的 录制 步骤 保持 一 致 。 如 果 说 捕捉 的 动态 数据 
依赖 于 某 个 输入 值 ， 那 么 就 改变 这 个 输入 值 ， 如 果 独 立 于 任何 输入 值 ， 那 么 就 采用 相同 
的 数据 。 

@ 对 比 脚 本 。 利 用 Wdiff.exe 工具 对 比 ， 它 遍历 脚本 的 每 一 行 ， 并 且 亮 显 不 同 点 。 

。 找到 所 捕捉 值 的 左右 边界 标识 符 。 

。 决定 应 该 使 用 哪个 边界 。 

。 ”将 函数 web reg save_param 加 入 脚本 ， 在 加 入 之 前 ， 必 需要 先 捕捉 到 值 。 

e。 在 函数 中 加 入 参数 名 称 、 左 边界 标识 符 、 和 

e。 在 每 次 脚本 运行 时 参数 化 动态 数据 。 

。 校 验 执行 结果 。 

8.5.5 ”IP 数据 池 


运行 方案 时 ， 每 台 负 载 生 成 器 计算 机 上 的 Vuser 都 使 用 该 计算 机 的 IP 地 址 。 也 可 以 
在 负载 生成 器 计算 机 上 定义 多 个 IP 地 址 ， 以 模拟 用 户 使 用 不 同 计算 机 的 真实 情况 。 应 用 
程序 服务 器 使 用 IP 地 址 来 标识 客户 端 。 应 用 程序 服务 器 经 和 常 缓存 来 目 同一 台 计 算 机 上 的 
客户 端 信息 。 网 络 路 由 器 则 缓存 源 信息 和 目标 信息 ， 以 提高 处 理 能 力 。 如 果 许 多 用 户 使 
用 同一 个 IP 地址 ， 服 务 器 和 路 由 器 都 会 进行 优化 处 理 。 由 于 同一 台 负 载 生成 器 计算 机 上 
的 Vuser 具有 相同 的 IP 地 址 ， 服 务 器 和 路 由 器 将 进行 优化 处 理 ， 因 而 无 法 反映 真实 的 
情况 。 

测试 工具 的 多 IP 地 址 功能 可 以 使 用 许多 IP 地 址 来 标识 在 一 台 计 算 机 上 运行 的 多 个 
Vuser。 这 样 , 服务 器 和 路 由 器 认为 Vuser 来 自 不 同 的 计算 机 ,因此 使 测试 环境 更 加 真实 。 
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在 Windows 平 台 上 , 每 块 网 卡 上 可 以 模拟 的 最 大 中 地 址 数 为 35 个 ,Solaris(2.5.1 版 ) 
最 多 为 255 个 ， 而 Solaris (2.6 或 更 高 版 本 ) 最 多 则 为 8192 个 。 
多 IP 地 址 功能 适用 于 下 列 协议 。 


客户 疹 服 务 器 ，DNS、Windows Sockets 。 

自 定 义 ，Java Vuser、jJavascript Vuser、VB Vuser、VB Script Vuser。 

电子 商务 : FTP、Palm、SOAP、Web (HTTP/HTML) 协议 、WinSockAWebDnual 
协议 。 

bom: Oracle NCA、 Siebel-Web。 

邮件 服务 ; Internet Messaging (IMAP)、MS Exchange (MAPID)、POP3、SMTP。 
流 数据 : Real 

无 线 : i-Mode、VoiceXML、WAP。 


Sm 了 如 何 同 负载 生成 器 中 添加 新 的 IP 地 址 。 


8.5.6 


运行 负载 生成 器 上 的 “IP 向 导 ” 添 加 指定 数量 的 下 地址。 为 UNIX 负载 生成 器 
计算 机 手动 配置 新 的 IP 地 址 。 

重新 启动 计算 机 。 

如 有 必要 ， 用 新 地 址 来 更 新 服务 器 的 路 由 表 。 

在 控制 台中 启用 这 项 功能 。 


Web 站 点 经 验 点 滴 


对 Web 站 乓 的 测试 ， 从 测试 工具 的 角度 来 讲 ,给 读者 介绍 下 面 几 扣 经验 。 读 者 通过 
阅读 本 小 节 的 内 容 应 能 达到 触 类 旁 通 ， 将 这 些 经 验 应 用 到 其 他 的 测试 领域 。 


在 执行 客户 端 并 发 性 能 测试 的 过 程 中 ， 和 需要 同时 监控 数据 库 服 务 器 、Web 服务 
器 以 及 网 络 资源 等 使 用 悄 况 ， 以 便 对 系统 的 性 能 做 全 面 评估 。 

录制 的 脚本 需要 编辑 ， 有 时 需要 手工 编写 脚本 。 

尽 可 能 去 录制 脚本 ， 然 后 在 其 基础 上 编辑 脚本 。 

手工 编写 脚本 需要 注意 既 能 够 模拟 负载 压力 ， 又 符合 脚本 的 后 台 处 理 方 式 。 
设置 数据 池 ， 实 现 变量 替换 常量 。 为 了 真实 模拟 负载 ， 数 据 池 是 经 常 使 用 的 有 
效 手段 。 

混合 业务 批量 执行 。 


单独 的 业务 并 发 操作 ， 有 可 能 会 忽略 例如 资源 争 用 、 锁 冲突 等 问题 ,在 Web 站 后 负 
载 压力 测试 方案 中 ， 一 定 要 考虑 将 多 种 业务 混合 执行 ， 并 发 性 能 测试 。 


模拟 用 户 数 的 递增 。 


我 们 知道 在 真实 情况 下 ， 高 峰 期 负载 压力 的 到 来 是 循序 渐进 的 过 程 ， 同 样 的 道理 ， 
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商 峰 期 的 结束 也 有 一 个 过 程 。 在 工具 中 我 们 使 用 虚拟 用 户 数 的 递增 与 递减 来 模拟 这 种 
情况 。 

e。 合理 设置 交易 之 间 的 时 间 间 隔 。 

交易 之 间 的 时 间 间 隅 代表 了 负载 程度 的 高 低 ， 为 了 模拟 不 同 的 负载 ， 经 常 箭 要 调整 
此 时 间 间 隔 。 

。 模拟 IP 地 址 变量 的 技术 。 

并 发 访问 需求 量 不 大 的 系统 , 每 个 不 同 的 虚拟 用 户 使 用 不 同 的 IP 地 址 访问 服务 器 是 
非常 有 必要 的 。 

e。 超时 〈timeout) 的 设置 。 

这 项 设置 与 系统 Web 服务 器 、 数 据 库 服务 器 、 中 间 件 服务 器 等 超时 设置 有 关 ， 建 议 
工具 的 设置 值 大 于 等 于 系统 服务 器 的 设置 值 。 

e。 并 发 用 户 连 续 执行 交易 数 的 设置 。 

每 个 虚拟 用 户 在 并 发 时 ， 串 行 循环 执行 的 交易 数 建议 设置 为 3 一 5 个 。 

。 错误 跟踪 。 

测试 期 间 的 报错 是 故障 定位 的 主要 依据 , 应 该 分 清 错误 的 来 源 ， 包括 服务 器 二 错 误 、 
客户 端 错误 以 及 网 络 错误 。 

。 利用 动态 数据 处 理 技 术 。 

对 某 些 动态 值 ， 每 次 执行 它 都 在 变化 ， 如 果 不 加 处 理 ， 往 往 导 致 负载 测试 失败 。 

e。 尽量 将 执行 负载 测试 的 机 器 合理 分 布 。 

将 负载 生成 器 布置 在 不 同 的 网 段 ， 有 利于 模拟 来 自 不 同 用 户 群 的 负载 。 

。 并 发 用 户 数量 极限 点 。 

压力 测试 的 目的 是 测试 系统 能 够 支持 的 最 大 并 发 用 户 数 。 

。 负载 生成 器 的 资源 使 用 率 也 有 必要 监控 。 

负载 生成 器 的 资源 使 用 超出 范围 ， 导 致 模拟 客户 端 并 发 请 求 失败 。 

。 设置 并 发 集合 点 。 

在 脚本 中 设置 并 发 集合 点 ， 可 以 将 录制 的 完整 操作 过 程 分 解 为 一 个 个 小 的 并 发 交易 。 

。 工具 参数 的 配置 。 

工具 参数 的 配置 非常 灵活 且 有 效 ， 在 下 面 的 章节 中 将 详细 论述 。 


8.5.7 ”脚本 调试 技术 


下 面 介绍 几 个 脚本 调试 的 例子 ， 读 者 可 在 此 基础 上 进一步 提高 调试 脚本 的 技术 。 
1. TUXEDO 
这 一 类 中 间 件 ， 肢 本 处 理 的 重点 包括 : 
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e。 管理 TUXEDO 缓存 。 

。 在 TUXEDO 命令 之 间 传 输 数 据 。 

2，Winsock 

Winsock 脚本 调试 的 重点 是 在 脚本 中 如 何 用 变量 来 代替 定 值 ， 即 处 理 Winsock 应 用 
程序 数据 流 。 我 们 来 看 下 面 的 示例 脚本 。 可 参见 htpy/yuanhaisong,myip.org/sqa/webtesthtm。 

原始 脚本 如 下 : 


PLAYER INFO *s_info, 


{ 

/声明 变 是 

SET ABORT FUNCTION(abort function), 

DEFINE TRANS TYPE("wsk-AdvancedTech_l.c 
DefaultCheckpointsOn(); 

DO WSK Init(s_info); 

SetTimeout(20); 

SYNCHRONIZE(; 
. BEGIN TRANSACTIONO; 

DO WSK Socket(S1, AF_INET, SOCK_STREAM, IPPROTO _JP); 
DO WSK Bind(S1, ANY_ADDR, ANY_ PORT); 

DO WSK Connect(S1, "172.22.24.125", 2100, AF_INET); 
AAA EIEIO IPA 

// 服务 器 返回 的 Session ID 在 每 次 连接 时 是 惟一 的 
EE 

*21bytes: SessionID=jrt90847\rn */ 

DO WSK Expect(S1, "n'), 
JUN 

/ 惟一 的 记 用 于 接 下 来 的 请 求 
EEL 

/* 34 bytes */ 

DO WSK Send(S], 
"SessionlD=jrt90847\\n:^B^@^@^@"B^@"@"@"A^@*@"@): 
/* 15 bytes: ID Accepted#^(@\rn */ 

DO WSK Expect(S1,"\n'); 

DO WSK Closesocket(S1); 

END TRANSACTION(); 

REPORT(SUCCESS); 

EXIT(); 
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return(0); 
} 


修改 后 的 脚本 如 下 : 


PLAYER_INFO *s_info; 

{ 

1/ 户 明 变 二 

char Buffer[64)]; 

char SendBufferf64]; 

int nBytesReceived = 0, 

SET_ABORT FUNCTION(abort function); 

DEFINE TRANS TYPE("wsk-AdvancedTech 1.c"); 
DefaultCheckpointsOn(); 

DO_ WSK Init(s info); 

SetTimeout(20); 

SYNCHRONIZE(); 

BEGIN TRANSACTION(); 

DO_ WSK Socket(S]1, AF INET, SOCK STREAM, IPPROTO IP); 
DO_WSK Bind(S1l, ANY ADDR, ANY PORT); 
DO_WSK_Connect(S1, "172.22.24.125", 2100, AF_INET); 
AH HH 

/服务 器 的 响应 读 入 Buffer 变量 ， 对 于 本 次 连接 我 们 就 取得 了 惟一 的 
Session ID. HA 
DO_WSK_Recv(S1, Buffer, 64, 0, &nBytesReceived); 
Buffer[nBytesRecieved] = "\0'; 

/* 21bytes: SessionID=jrt90847\r\n */ 
“IDO WSK Expect(S1, "\n"); 
WA 

/ 最 终 用 脚本 中 的 一 个 编码 取代 了 从 服务 器 接收 到 的 Session ID 
HH 

sprintft SendBuffer, "%s:^B^@^@^@^B^@^@^@"A^@*@@", 
Buffer); 

DO WSK Send(S1, SendBuffer): 

/* 34 bytes */ 

IHDO_WSK_Send(S1, 
“SessionID=jrt90847:^B^@^@^@^B^@^@^@^A^Q@^@@"); 
/* 15 bytes: ID Accepted#^@\nn */ 

DO WSK Expect(S1, "\n’); 
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Advanced Scripting Techniques for WinSock 7-5 
DO _ WSK._ Closesocket(S1); 

END TRANSACTION(); 
REPORT(SUCCESS): 

EXIT(); 

return(0); 

} 

3. SOQL Server 

这 一 类 数据 库 ， 脚 本 处 理 的 重点 如 下 。 
e。 从 存储 过 程 中 捕获 一 个 值 。 

e 利用 检索 到 的 值 作为 一 个 参数 传递 给 存储 过 程 。 
我 们 来 看 下 面 的 实例 脚本 。 
存储 过 程 定义 如 下 : 


create procedure inc_ test_ sp 

( 

@first_param int 

) 

as 

begin 

select second param = (@first param + 1 
end 


脚本 代码 如 下 : 


strepy(sql_statement, /* >> 1] << */ 

"execute ine test_sp @sample_param ="{01}" "); 

DO substr(sql_statement 1, "100" ); 

BEGIN CHECKPOINT(); /* #1: Stored Procedure */ 
DO dbcmd(0, sql statement); 

DO dbsqlexec( 0 ); 

while (DO_dbGetResults(0)); 

END CHECKPOINT(25); /* #25: Stored Procedure */ 


第 一 步 : 加 入 必要 的 变量 说 明 。 


int rhobot script(s_info) 
PLAYER INFO *s_info; 
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int rhobot_script(s_info) 

PLAYER_INFO *s info; 

{ 

char szSecondParam[20]; /* 假设 数字 长 度 < 20!! */ 
long iSecondParam,; 


第 二 步 ， 调 用 存储 过 程 。 
调用 存储 过 程 ， 然 后 修改 其 返回 值 。 


strepy(sql_ statement, /* >> 1 << */ 

"execute inc_test_sp @sample param ="{01}’ "); 

DO _ substr(sql_statement, 1, "100" ); 

BEGIN_CHECKPOINTO; /* #1: Stored Procedure */ 

DO dbcmd(0, sql]_ statement); 

DO _dbsqlexec(0); | 
DO_addResultVar( "second_param" ); /* 注意 这 是 关键 的 一 行 , 此 处 修改 返回 值 * 
while (DO_dbGetResults(0)); 

END_ CHECKPOINT(25); /* #1: Stored Procedure */ 

strepy( szSecondParam, DO_getResultVar( "second_param" ) ); 

iOutputReqID = atoi( szSecondParam ); 

RR_printf("Second Param (string): %s", szSecondParam ); 

RR_printf("Second Param (int): %d", iSecondParam ); 


原始 脚本 代码 : 


strepy(sql_statement/* >> 2 << */ 

"execute use_inc_value_sp @inc_value ={01}"); 

DO _substr(sql_statement, 1}, "101" ); 
BEGIN_CHECKPOINTO; /* #2: Stored Procedure */ 
DO_dbcmd(0, sql_statement); 

DO _dbsqlexec(0); 

while (DO_dbGetResults(0)); 


修改 后 的 代码 (使 用 字符 串 值 ): 


strepy(sql_statement, /* >> 2 << */ 
"execute Use_inc_value sp @inc_value ={01}"); 


/* 注 意 szSecondParam 在 Part 1 中 已 经 声明 并 且 接 收 到 返回 值 *#/ 
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DO _substr(sql_statement, 1, szSecondParam ); 
BEGIN CHECKPOINT(); /* #2: Stored Procedure */ 
DO dbcmd(0, sql statement); 

DO dbsqlexec(0); 

while (DO_dbGetResults(0)); 


8.5.8 ”测试 工具 配置 技巧 


在 测试 工具 中 有 很 多 配置 参数 ， 不 同 的 配置 有 可 能 会 导致 测试 失败 ， 也 有 可 能 产生 
不 同 的 测试 结果 。 根 据 实际 负载 压力 需求 正确 地 配置 参数 ， 就 可 以 保证 达到 真实 地 模拟 
负载 ， 并 得 出 正确 的 测试 结果 。 测 试 实施 过 程 中 ， 配 置 测试 工具 参数 的 方法 可 以 参考 工 
具 的 用 户 手册 ， 配 置 参数 的 技巧 就 要 靠 测 试 工程 师 的 经 验 和 技术 积累 了 。 下 面 举例 说 明 
配置 参数 。 
Form Field Comments (Yes/No): 在 脚本 中 是 否 给 Form Field 部 分 加 注释 ; 
Anchors as Comments (Yes /No): 在 脚本 中 是 否 给 Anchors 部 分 加 注释 ; . 
Client Maps Comments (Yes /No): 在 脚本 中 是 否 给 Client Maps 部 分 加 注释 ; 
Debug Comments (Yes /No): 在 脚本 中 是 否 给 Debug 部 分 加 注释 ; 
Doc Title Verification (Yes / No): 脚本 录制 过 程 中 是 否 校 验 文档 Title; 
Baud Rate Emulation (Yes / No); 在 脚本 回放 过 程 中 是 否 模拟 不 同 的 带宽 进行 回 
放 ， 如 果 需 要 ， 标 明 回 放 的 珊 宽 数值 ; 
Encode DBCS Characters (Yes/No): 是 否 将 DBCS 字符 编码 ; 
Cache (Yes/No):， 在 脚本 回放 过 程 中 ， 是 否 模 拟 缓存 ; 
Dynamic Redirect (Yes /No): 在 脚本 回放 过 程 中 ， 是 否 支 持 动 态 重 定 问 ; 
Dynamic Cookies (Yes / No): 在 脚本 回放 过 程 中 ， 是 否 支 持 动 态 Cookies; 
Process Subrequests (Yes /No): 在 脚本 回放 过 程 中 ， 是 否 支 持 进程 子 请 求 ; 
Persistent Connections (Yes/ No): 在 脚本 回放 过 程 中 ， 连 接 是 否 持久 保持 ; 
Max Concurrent Connection: 在 脚本 回放 过 程 中 ， 最 大 当前 连接 数 ， 默 认 值 为 4; 
Max Connection Retries: 在 脚本 回放 过 程 中 , 最 大 当前 连接 重 试 数 , 默认 值 为 4; 
Servef Response Timeout: 在 脚本 回放 过 程 中 ， 服 务 器 响应 超时 限制 ， 默 认 值 为 
120: 
。 HTTP Version Detection: 录制 时 采用 的 HTTP 版 本 ， 默 认 值 为 Auto， 既 可 以 为 

1.0 版 本 ， 也 可 为 2.0 版 本 ， 测 试 工具 自动 处 理 ; 
e。 ActiveData (Yes/No): 在 脚本 回放 过 程 中 ， 是 否 支 持 动 态 数据 ; 
e。 IPSpoofing (Yes/No): 在 脚本 回放 过 程 中 ， 是 否 支持 每 个 虚拟 用 户 使 用 不 同 的 
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IP 实现 并 发 ; 
。 Streaming Media (Yes /No): 是 否 支持 流 媒体 ; 
。 Hostnames as IP Addresses (Yes/No): 是 否 支 持 使 用 IP 地 址 标识 主机 ; 
e Strip All Cookies From Requests 《Yes / No); 在 脚本 回放 过 程 中 ， 请 求 中 是 否 包 
括 Cookies; 
。 Traffic Filters (Yes /No): 在 脚本 回放 过 程 中 ， 是 否 和 需要 流量 过 滤 。 
上 述 参 数 ， 例 如 “Strip All Cookies From Requests”， 决定 测试 过 程 的 成 败 ， 比如 有 
些 系统 将 Session ID， 或 者 用 户 的 登录 信息 放 在 Cookies 中 ， 如 果 不 加 载 Cookies， 那 么 
自然 导致 测试 失败 。 又 如 “Server Response Timeout”， 此 值 如 果 设 置 不 合适 ， 可 能 会 使 
负载 压力 测试 过 程 报错 , 并 且 这 个 错误 是 由 测试 工具 本 身 导 致 的 “Persistent Connections” 
这 项 参数 根据 我 们 的 测试 需求 来 确定 ， 如 果 我 们 侧重 测试 系统 并 发 用 户 数 ， 那 么 就 不 应 
该 选择 这 项 参数 ， 而 是 采用 间断 连接 如 果 我 们 侧重 测试 系统 交易 啊 应 时 间 ， 那 么 选择 
这 项 指标 会 使 系统 响应 发 挥 最 好 。“Baud Rate Emulation” 帮 助 测试 工程 师 实 现在 不 同 的 
网 络 带 宽 下 实施 负载 压力 测试 等 。 
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9.1 Web 系统 测试 概述 
9.1.1 Web 系统 的 构成 


随 着 Internet 的 快速 增长 以 及 Intranet/Extranet 在 各 行业 的 广泛 应 用 ，Web 已 经 对 商 
业 、 工 业 、 银 行 、 财 政 、 教 育 、 政 府 和 娱乐 等 行业 ， 以 及 我 们 的 工作 和 生活 产生 了 深远 
的 影响 。 许 多 传统 的 信息 和 数据 库 系 统 正 在 被 移植 到 互联 网 上 ， 电 子 商务 迅速 增长 ， 早 
已 超越 了 国界 。 范 围 广泛 的 、 复 杂 的 分 布 式 应 用 正在 Web 环境 中 出 现 。Web 的 流行 和 无 
所 不 在 ， 是 因为 它 能 提供 支持 所 有 类 型 内 容 连 接 的 信息 发 布 ， 容 易 为 最 终 用 户 存 取 。 

Yogesh Deshpande 和 Steve Hansen 在 1998 年 就 提出 了 Web 工程 的 概念 。Web 工程 
作为 一 门 新 兴 的 学 科 ， 提 倡 使 用 一 个 过 程 和 系统 的 方法 来 开发 高 质量 的 基于 Web 的 系 
统 。 它 “使 用 合理 的 、 科 学 的 工程 和 管理 原则 ， 用 严密 的 和 系统 的 方法 来 开发 、 发 布 和 
维护 基于 Web 的 系统 "。 目 前 ， 对 于 Web 工程 的 研究 主要 是 在 国外 开展 的 ， 国 内 才刚 刚 
起 步 。 

在 基于 Web 的 系统 开发 中 ， 如 果 人 缺乏 严格 的 过 程 ， 我 们 在 开发 、 发 布 、 实 施 和 维护 
Web 的 过 程 中 ， 可 能 就 会 磁 到 一 些 严重 的 问题 ， 失 败 的 可 能 性 很 大 。 而 且 ， 随 者 基于 
Web 的 系统 变 得 越 来 越 复杂 , 一 个 项 目的 失败 将 可 能 引发 很 多 问题 。 当 这 种 情况 发 生 时 ， 
我 们 对 Web 和 Internet 的 信心 可 能 会 动摇 ， 从 而 引起 Web 危机 。 并 且 ，Web 危机 可 能 会 
比 软件 开发 人 员 所 面 对 的 软件 危机 更 加 严重 、 更 加 广泛 。 

这 里 我 们 谈 到 的 Web 系统 是 指 以 Browser/Server 的 访问 方式 为 主 , 包含 客户 端 浏览 
器 、Web 应 用 服务 器 、 数 据 库 服务 器 的 软件 系统 。 首 先 从 技术 实现 上 来 讲 ， 一 般 的 B/S 
结构 ， 无 论 是 .NET 还 是 J2EE， 都 是 多 层 构 架 ， 有 界面 屋 、 业 务 逻 辑 层 、 数 据 层 。 其 次 ， 
从 结构 上 来 讲 ， 都 有 客户 端 部 分 、 传 输 网 络 部 分 和 服务 器 端 部 分 。 

一 个 典型 的 Web 系统 的 结构 示意 图 如 图 9-1 所 示 。 

e 访问 客户 端 : 包含 用 户 操作 的 浏览 器 及 运行 平台 。 最 筑 见 的 一 个 例子 就 是 

Windows XP+IE6.0， 另 外 ， 还 有 Windows 及 其 他 平台 上 的 Netscape、Opera、 
Mozilla 等 浏览 器 。 
。 ”Web 应 用 服务 器 : 用 于 发 布 Web 页 面 ， 接 受 来 自 客户 端的 请 求 ， 并 把 请 求 的 处 
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理 结果 返回 客户 端 。 一 般 采 用 的 Web 应 用 服务 程序 有 各 种 版 本 UNIX 上 的 


Apache、WebLogic，Windows 服务 器 上 的 Tomcat、IIS 等 。 


。 ”数据 库 ; 虽然 数据 库 不 是 Web 系统 一 个 必要 的 部 分 , 但 在 现 有 的 大 多 数 Web 系 
统 中 ， 数 据 库 是 一 个 重要 的 部 分 。 数 据 库 多 为 关系 型 数据 库 ， 常 用 的 有 Oracle、 


SQL Server、Sybase、Informix 等 。 


。 网 络 及 中 间 件 ， 提供 客户 端的 请 求 到 Web 服务 器 的 通道 。 网 络 可 以 是 
Internet/Intranet/Extranet 网 ， 也 可 能 是 局 域 网 。 中 间 件 常常 是 传输 中 间 件 或 交易 


中 间 件 。 


。 防火 墙 与 CA 认证 ;系统 的 安全 性 的 一 个 保障 系统 ， 对 于 重要 的 系统 是 必 不 可 


少 的 。 
本 | 三 CA 服务 器 
ss 由 
遇 出 


中 间 件 服务 端 


图 9-1 典型 的 Web 系统 


里 


另外 ， 一 些 大 型 Web 系统 ， 为 了 承受 较 大 的 访问 压力 ， 会 采用 负载 均衡 技术 ， 使 用 
多 个 Web 应 用 服务 器 ， 分 担 来 自 客户 端的 访问 压力 。 


9.1.2 ”Web 系统 设计 技术 


Web 服务 器 。 数据 库 服务 器 


当 你 在 互联 网 上 冲浪 的 时 候 , 细心 观察 一 下 , 不 难 发 现 网 页 的 制作 技术 在 不 断 进 步 ， 
日 新 月 异 。 从 以 往 单调 的 HTML， 到 Java 小 程序 、Javascript 脚本 、ActiveX 控件 的 加 入 ， 
使 本 来 静态 的 网 页 变 得 “ 动 ” 了 起 来 。 滚 动 字幕 、 日 历 、 划 动 鼠 标 时 出 现 的 轨迹 等 ， 还 


有 近来 许多 网 页 上 所 使 用 的 FLASH 动画 ， 令 我 们 的 网 络 世 界 越 来 越 精彩 。 
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现在 我 们 来 全 面体 验 一 下 关于 网 页 制作 技术 的 服务 端 编程 开发 , 也 就 是 Web 应 用 程 
序 的 设计 。 网 页 计数 器 、 问 卷 调 查 系 统 、BBS 论坛 、 聊 天 室 虚 拟 社 区 ， 相 信 大 家 都 并 不 
陌生 。Web 应 用 程序 为 网 页 提供 了 真正 的 交互 能 力 。 不 难 想象 ， 如 果 没 有 了 这 些 给 我 们 
提供 极 大 交互 性 的 Web 程序 ， 那 么 浏览 网 页 也 就 会 变 得 不 再 那么 有 趣 了 ， 而 对 于 网 站 的 
商业 价值 也 就 似乎 只 能 提供 像 报纸 媒体 一 样 的 宣传 效果 ， 不 能 互动 ， 不 能 在 线 收 集 用 户 
意见 ， 更 别 说 实现 网 上 的 电子 商务 ， 在 线 购物 ， 销 售 产品 了 。 

1， 停 态 页 面 与 动态 页 面 

在 网 站 建设 发 展 的 初期 ， 人 们 全 部 使 用 HTML 语言 设计 网 页 。 这 些 简单 的 HTML 
文档 被 手工 编辑 完成 之 后 ， 保 存在 与 Intemet 相连 接 的 计算 机 内 ， 任 何 连 入 互联 网 的 用 
户 都 可 以 访问 其 中 的 信息 ， 这 种 形式 的 页 面 被 称 作 静 态 页 面 。 

现在 , 我 们 不 仅 需要 Web 提供 所 需 的 信息 ,还 需要 提供 例如 个 性 化 搜索 \、 收 发 email、 
进行 网 上 销售 、 从 事 电 子 商务 等 功能 。 为 实现 以 上 功能 ， 必 须 使 用 更 新 的 网 络 编程 技术 
制作 动态 网 页 。 所 谓 动态 ， 指 的 是 技 照 访问 者 的 不 同 需 要 ， 对 访问 者 输入 的 信息 作出 不 
同 的 响应 的 信息 。 

2， 网 络 开发 技术 

网 络 开发 技术 一 般 指 采 用 脚本 语言 进行 编程 的 技术 。 脚 本 语言 具有 和 传统 的 编程 语 
言 相似 的 语法 结构 和 风格 ， 并 且 可 以 结合 HTML 语言 共同 使 用 。 脚 本 语言 与 HTML 语 
言 具有 非常 好 的 兼容 性 , 使 用 者 可 以 直接 在 脚本 代码 中 加 入 HTML 标签 , 或 者 在 HTML 
标签 中 加 入 脚本 代码 从 而 更 好 地 实现 页 面 控 制 。 

使 用 不 同 技术 编写 的 动态 页 面 也 被 保存 在 Web 服务 器 内 。 当 客户 问 用 户 同 Web 服 
务 器 发 出 访问 动态 页 面 的 请 求 时 ，Web 服务 器 将 根据 用 户 所 访问 页 面 的 后 缀 名 确定 该 页 
面 所 使 用 的 网 络 编程 技术 ， 然 后 把 该 页 面 提交 给 相应 的 解释 引擎 ， 解 释 引 擎 扫描 整个 页 
面 找到 特定 的 定 界 符 ， 并 执行 位 于 定 界 符 内 的 脚本 代码 以 实现 不 同 的 功能 ， 如 访问 数据 
库 ， 发 送 电子 邮件 ， 执 行 算术 或 逻辑 运算 等 ， 最 后 把 执行 结果 返回 Web 服务 器 ; 最 终 ， 
Web 服务 器 把 解释 引擎 的 执行 结果 连同 页 面 上 的 HTML 内 容 以 及 各 种 客户 站 脚本 一 同 
传送 到 客户 剖 。 

ASP (Active Server Pages， 即 动态 服务 器 页 面 ) 是 由 微软 公司 推出 的 一 种 网 络 编程 
技术 。 准 确 地 说 ，ASP 不 能 算 作 是 一 种 编程 语言 ， 因 为 ASP 没有 提供 自己 专门 的 编程 语 
言 , 而 是 允许 用 户 使 用 包括 VBScript，JavaScript 等 在 内 的 许多 已 有 的 脚本 语言 编写 ASP 
的 应 用 程序 。 因 此 ，ASP 实际 上 应 当 是 一 种 脚本 语言 的 服务 端 编写 环境 。ASP 吸收 了 当 
今 许 多 流行 的 技术 ， 如 IIS，Activex，VBScript，ODBC 等 ， 是 一 种 发 展 较为 成 熟 的 网 络 
应 用 程序 开发 技术 。ASP 的 核心 技术 是 对 组 件 和 对 象 技术 的 充分 支持 。 通 过 使 用 ASP 
的 组 件 和 对 象 技 术 ， 用 户 可 以 直接 使 用 ActiveX 控件 ， 调 用 对 象 方 法 和 属性 ， 以 简单 的 
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方式 实现 强大 的 功能 。 

JSP (java Server Pages) 是 由 Sun Microsystem 公司 于 1999 年 6 月 推出 的 新 技术 ， 
是 基于 Java Servlet 以 及 整个 Java 体系 的 Web 开发 技术 。ASP 一 般 只 应 用 于 Windows 
NT/2000 平台 ， 而 JSP 则 可 以 不 加 修改 地 在 85% 以 上 的 Web Server 上 运行 ， 其 中 包括 了 
NT 的 系统 ， 符 合 “ 一 次 编写 ， 多 平台 运行 “的 Java 标准 ， 实 现 平台 和 服务 器 的 独立 性 ， 
而 且 基 于 JSP 技术 的 应 用 程序 ， 比 基于 ASP 的 应 用 程序 易于 维护 和 管理 。 

ColdFusion 是 Aliaire 公司 在 1995 年 推出 的 产品 。 它 包含 一 个 集成 的 可 视 化 开发 环 
境 ， 可 以 极 大 地 简化 用 户 的 开发 过 程 。 此 外 ，ColdFusion 采用 一 种 被 称 做 ColdFusion 标 
识 语言 (ColdFusion Markup Language，CFML) 的 技术 。CFML 技术 继承 了 HTML 语言 
的 风格 ， 用 户 完 全 可 以 像 使 用 HTML 标签 一 样 ， 使 用 CFML 标签 来 完成 各 种 复杂 的 操 
作 。 可 以 说 ， 只 要 学 握 了 各 种 CFML 标签 ， 也 就 等 于 掌握 了 ColdFusion 技术 的 精 俩 。 

文字 分 析 报 告 语 言 (Practical Extraction and Report Language，PERL)， 是 现在 编写 
CGI 程序 最 受 欢 迎 的 编程 工具 ， 它 具有 强大 的 字符 串 处 理 能 力 ， 特 别 适 合用 于 分 割 处 理 
客户 端 Form 提交 的 数据 串 ， 而 且 可 以 与 ColdFusion 等 多 种 流行 的 Web 数据 库 处 理 软件 
相 结合 。 使 用 PERL 既 可 以 达到 路 服务 平台 ， 又 能 方便 地 处 理 和 使 用 数据 库 ， 还 有 一 点 ， 
PERL 是 一 种 由 解释 器 直接 解释 执行 的 语言 ， 不 同 于 使 用 C 或 VB 等 需要 预 编 译 后 才能 
执行 。 

超 文本 预 处理 器 (Hypertext Preprocessor，PHP) 在 很 大 程度 上 综合 了 PERL、Java 
和 C 语言 的 精华 ， 在 语法 架构 上 继承 了 C 语言 的 风格 。PHP 是 一 种 自由 软件 。 

3. CGI〈 通 用 网 关 接口 ) 程序 

CGI 是 一 种 早期 用 于 Web 程序 设计 的 接口 标准 ， 也 就 是 说 ， 你 只 要 熟悉 这 套 接口 标 
准 ， 就 能 使 用 任何 平常 你 所 熟悉 的 编程 语言 来 编制 CGI 程序 。 比 如 说 C、VB、DELPHI 
等 ， 当 然 ， 要 使 用 CGI， 也 需要 相应 的 Web 服务 器 支持 这 一 标准 ， 常 用 的 Web 服务 器 
软件 ， 如 著名 的 Apache，Web-site，Netscape Enterprise Server 以 及 Microsof 的 IIS 等 ， 
都 能 很 好 地 支持 各 种 CGI 程序 。 

CGI 程序 与 Web 服务 器 的 交互 主要 有 两 种 数据 交换 方式 。 

在 UNIX 或 Linux 下 ， 是 通过 标准 输入 /输出 来 实现 的 ， 因 此 可 以 在 程序 中 直接 通过 
标准 输入 来 取得 客户 端 传 来 的 请 求 和 所 传递 的 数据 ， 然 后 在 程序 中 对 数据 进行 处 理 。 比 
如 说 ， 你 需要 编制 一 个 留言 部 的 CGI 程序 ， 不 外 平 就 是 从 客户 端 提交 的 Form 表单 中 取 
得 用 户 的 名 字 、 电 子 邮件 ， 以 及 留言 内 容 ， 而 服务 端 相应 的 CGI 程序 则 从 标准 输入 中 取 
得 用 户 所 提交 的 内 容 ， 而 通过 服务 器 的 环境 变量 ， 你 可 以 获得 大 量 的 客户 端 资 料 ， 如 客 
户 端的 卫 地 址 、 计 算 机 名 字 、 所 使 用 的 浏览 器 ， 如 果 需 要 使 用 服务 器 认证 功能 ， 环 境 变 
生还 能 为 你 提供 客户 端 用 户 的 登录 名 字 以 及 口令 等 。 取 得 用 户 提交 内 容 后 ， 进 行 记 录 留 
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言 的 操作 ， 打 开 数 据 文 件 ， 把 留言 内 容 写 入 文件 ， 然 后 通过 标准 输出 把 “留言 成 功 ” 的 
HTML 信息 输出 到 客户 端 。 

而 在 Windows 平台 下 ，CGI 程序 与 Web 服务 器 的 数据 交互 则 是 通过 profile 文件 来 
进行 的 ，profile 的 格式 如 同 win.ini 的 格式 一 样 。 当 Web 服务 器 接收 到 客户 端的 请 求 数 
据 后 ， 就 把 它们 以 key-value 的 INI 文件 格式 保存 至 暂 存 文件 以 供 CGI 程序 来 接收 。 因 
此 , 开发 Windows CGI 程序 的 第 一 步 就 是 对 数据 文件 进行 拆 解 , 如 果 是 使 用 PERL 的 话 ， 
那么 这 一 步 可 以 免除 了 ， 因 为 PerlFor Windows 的 解释 器 已 为 你 做 好 了 这 一 步 ， 你 只 需 
要 如 同 在 UNIX 下 一 样 , 把 数据 作为 标准 输入 来 处 理 就 可 以 了 , 也 就 是 说 , 只 要 在 PERL 
解释 器 所 支持 的 功能 范围 内 ,UNIX 下 的 PERL 程序 基本 上 可 以 不 经 修改 地 作为 Windows 
CGI 程序 移植 到 Windows 平台 运行 ， 这 是 PERL 非常 受 CGI 程序 员 喜 爱 的 原因 之 一 。 

4. J2EE 

J2EE 的 全 称 是 Java2EnterpriseEdition, 它 是 由 SUN | 公司 领导 ， 各 厂商 共同 制定 ,并 
得 到 广泛 认可 的 工业 标准 。 业 内 许多 大 的 应 用 服务 器 厂商 如 IBM、BEA、Oracle 等 都 积 
极地 参与 J2EE 标准 的 制定 和 实施 工作 。 

J2EE 是 专门 为 企业 应 用 制定 的 标准 , 企业 可 以 用 它 来 编制 企业 级 的 应 用 , 它 为 企业 
应 用 提供 了 数据 库存 职 ， 交 易 完 整 性 ， 可 靠 消 息 传递 等 功能 。 从 公元 2000 年 开始 ， 越 来 
越 多 的 企业 把 自己 的 关键 应 用 开始 构建 在 支持 J2EE 标准 的 Web 应 用 服务 器 之 上 。 现 在 
主流 的 一 些 J2EE 应 用 服务 器 都 可 以 支持 企业 应 用 所 和 需 的 稳定 性 、 可 用 性 、 安 全 性 、 可 
千 性 、 可 扩展 性 等 。 

s. .NET 

.NET 的 前 身 是 微软 的 DNA (Distributed Network Architecture)， 在 2000 年 的 时 候 
被 .NET 所 取代 。 

.NET 以 WebServices 为 核心 ， 全 面 支持 SOAP、UDDI 和 WSDL， 并 在 底层 实现 了 
类 似 Java 虚拟 机 的 CLR Common Language Runtime) 和 一 套 具 有 3500 多 个 类 的 ,NET 
基础 类 库 , 以 支持 其 开发 语言 Visual Basic、C# 和 ASP 等 ， A SQL 
Server 和 Passport，.NET Studio 组 成 了 完整 的 解决 方案 。 

6. WebServices 

Web Services 是 建立 可 互 操作 的 分 布 式 应 用 程序 的 新 平台 。Web Services 是 一 场 分 布 
式 计 算 模 式 的 跃进 ， 它 真正 要 解决 分 布 式 计算 的 问题 。Web Services 技术 成 为 企业 与 企 
业 之 间 连 接 的 桥梁 ， 为 跨 企 业 、 跨 行业 、 跨 地 域 的 业务 提供 了 技术 的 实现 方法 。 

Web Services 采用 XML 作为 消息 交换 的 格式 ,利用 Internet 上 的 通用 传输 协议 (如 
HTTP)， 提 供 标 准 的 服务 接口 调用 的 方法 ， 为 客户 提供 灵活 、 方 便 、 强 大 的 Web 
服务 。 
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9.1.3 Web 系统 的 测试 策略 


针对 Web 系统 的 构成 和 Web 系统 的 一 些 特 点 ， 我 们 需要 对 涉及 Web 系统 质量 的 各 
个 方面 进行 测试 。 按 系统 架构 来 分 ， 可 分 为 客户 端的 测试 、 服 务 器 端的 测试 和 网 络 上 的 
测试 ， 按 职能 来 分 ， 可 分 为 应 用 功能 的 测试 、Web 应 用 服务 的 测试 、 安 全 系统 的 测试 、 
数据 库 服 务 的 测试 ， 按 软件 的 质量 特性 来 分 ， 又 可 分 为 功能 测试 、 性 能 测试 、 安 全 性 测 
试 、 碌 容 性 测试 和 易 用 性 测试 ， 按 照 开 发 阶段 来 分 ， 可 以 分 为 设计 的 测试 、 编 码 的 铀 试 
和 系统 的 测试 。 

Web 是 一 类 特殊 的 软件 ，Web 应 用 系统 的 开发 同样 要 经 过 需求 分 析 、 设 计 、 编 码 、 
实施 等 阶段 ， 所 以 对 软件 的 测试 是 贯穿 整个 软件 生命 周期 的 。Web 应 用 系统 的 设计 、 编 
码 和 实施 三 个 阶段 都 是 十 分 重要 ， 现 把 对 Web 应 用 系统 的 测试 分 为 Web 应 用 设计 测试 、 
Web 应 用 开发 测试 和 Web 应 用 运行 测试 ， 在 后 面 的 章节 中 将 分 别 进行 论述 。 


9.2 ”Web 应 用 设计 测试 


9.2.1 Web 应 用 设计 测试 概述 


前 面 已 经 谈 到 ， 即 使 最 简单 的 一 个 Web 应 用 系统 也 会 包括 客户 端 、 中 间 件 、 服 务 器 
等 几 部 分 ， 如 果 要 设计 一 个 大 型 的 复杂 应 用 ， 则 可 能 包含 数据 库 服务 器 、 应 用 服务 器 、 
认证 服务 器 等 多 个 组 成 部 分 。 在 Web 应 用 系统 的 设计 阶段 ， 测 试 的 一 个 主要 内 容 就 是 对 
Web 设计 从 全 面 性 、 适 合 性 、 标 准 性 等 多 方面 进行 检查 。 依 据 Web 应 用 系统 的 架构 ， 把 
对 Web 设计 的 测试 分 为 电 体 架构 设计 的 测试 、 客 户 端 设计 的 测试 、 服 务 器 端 设计 的 测试 
三 个 部 分 。 


9.2.2 ”总体 架构 设计 的 测试 


Web 应 用 系统 中 PC 模型 的 复杂 性 呈 指 数 增加 ， 除 了 面临 多 个 客户 PC 机 所 带 来 的 
测试 挑战 外 ，Web 系统 的 服务 端 还 涉及 各 种 类 型 的 硬件 及 操作 系统 、 服 务 进 程 、 服 务 器 
包 和 数据 库 等 的 软件 组 合 。 对 总 体 设计 的 检查 从 以 下 几 个 方面 进行 。 

1， 采 用 瘦 客 户 端 或 胖 客 户 端 是 否 适合 需求 

瘦 客 户 端 与 胖 客户 端 是 指 部 分 应 用 程序 和 组 件 是 否 驻 留 在 客户 端 。 在 首 客 户 端 系统 
中 ， 客 户 端 PC 只 作 少量 的 处 理 ， 业 务 逻辑 规则 多 数 在 服务 器 端 执 行 。 多 数 Web 新 闻 站 
点 、 门户 网 站 及 用 于 信息 发 布 的 Web 系统 采用 这 种 模式 。 这 种 模式 适合 于 对 客户 端 没 有 
特殊 要 求 、 用 户 量 庞大 并 且 分 散 的 Web 应 用 系统 。 
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胖 客 户 端 既 运 行 应 用 程序 的 用 户 界 面 ， 又 执行 部 分 业务 逻辑 。 此 时 ， 浏 览 器 不 仅 要 
处 理 HTML 等 页 面 ， 还 要 执行 Java applet 和 ActiveX 控件 等 其 他 组 件 。 一 些 银行 客户 系 
统 、 网 络 游戏 、 网 上 办 公 系 统 等 Web 应 用 系统 采用 这 种 模式 。 这 种 模式 适合 于 对 安全 性 
要 求 较 高 、 交 互 操作 频繁 或 业务 逻辑 复杂 的 Web 应 用 系统 。 胖 客户 端 能 减轻 服务 器 端的 
处 理 强度 ， 与 服务 器 端 之 间 有 较 强 的 交互 能 力 ， 但 需要 在 客户 端 安装 一 些 应 用 程序 或 
组 件 。 

确定 采用 哪 种 模式 , 要 由 Web 应 用 系统 的 具体 需求 决定 。 测 试 的 任务 就 是 验证 设计 
中 采用 的 模式 是 否 符合 系统 需求 。 

2. 确定 Web 架构 的 组 成 部 分 是 否 满足 需求 

根据 业务 需求 ， 服 务 器 端 可 能 是 一 台 简 单 的 Web 应 用 服务 器 ， 也 可 能 是 由 中 间 件 、 
数据 库 和 安全 服务 器 等 组 成 的 服务 器 群 。 在 确定 服务 器 端的 组 成 部 分 时 ， 和 需要 考虑 到 成 
本 、 功 能 、 安 全 性 要 求 、 容 量 要求、 传输 实时 性 等 多 个 方面 。 对 Web 架构 设计 的 测试 除 
了 要 验证 Web 架构 的 组 成 部 分 是 否 满 足 上 述 第 求 外 , 还 要 检查 各 组 成 部 分 是 否 有 搭配 不 
兼容 的 地 方 。 | 

3， 服务 器 的 配置 及 分 布 是 否 满足 需求 

服务 器 软件 可 能 分 布 在 若干 个 物理 服务 器 单元 上 。 如 表 9-1 所 示 列 出 了 服务 器 配置 
的 几 个 例子 。 

Web eas mee 


序号 | 单元 3 
， | 基于 NT 的 Web 服务 器 | 
1 | 单单 元 模型 基于 NT 的 应 用 服务 器 


| 基于 NT 的 数据 库 服务 器 
| i 服务 器 ” ”| 站 于 NT 的 Web 服务 器 | 基于 NT 的 数据 

i 甘于 NT 的 应 用 服务 器 基于 NT 的 应 用 服务 器 。 。” | 库 服 务 器 
| 基于 UNIX 的 Web 服务 器 


单单 元 模型 | 基于 UNIX 的 应 用 服务 器 
| 基于 UNIX 的 数据 库 服务 器 


| 基于 UNIX 的 Web 服务 器 
汪汪 ET 
5 | 三 单元 模型 基于 NT 的 Web 服务 器 基于 NT 的 Web 服务 器 基于 UNIX 的 数 
本 | 基于 NT 的 应 用 服务 器 基于 NT 的 应 用 服务 器 据 库 服务 器 


这 部 分 测试 的 重点 是 验证 服务 器 端的 配置 和 分 布 是 否 满足 用 户 的 功能 、 性 能 、 成 本 
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等 需求 。 
9.2.3 ”客户 端 设 计 的 测试 


客户 端 设 计 主 要 是 面向 用 户 的 ， 包 括 功能 设置 、 信 息 组 织 结构 设计 和 页 面 设 计 。 对 
客户 端 设计 的 测试 也 将 从 这 三 方面 进行 。 

1. 功能 设置 的 测试 

Web 应 用 系统 的 功能 设置 应 尽量 以 企业 内 部 工作 的 需求 为 主 ， 取 消 或 少 设 与 工作 无 
关 的 功能 (如 网 上 游戏 、 网 上 聊天 等 )， 以 提高 工作 效率 。 常 用 的 功能 有 以 下 几 类 。 

。 信息 服务 。 

此 类 功能 为 读者 提供 多 种 动 、 静 态 信息 ， 如 公共 信息 、 同 行业 信息 、 企 业内 部 管理 
信息 、 业 务 信 息 、 信 息 搜索 等 。 

。 办 公 自 动 化 。 

此 类 功能 主要 提供 企业 内 部 通信 、 工 作 流 控 制 等 方面 的 功能 ， 以 实现 企业 办 公 自 动 
化 〈 实 现 无 纸 办 公 )， 如 电子 邮件 、 公 文 管理 、 内 部 论坛 、 会 议 日 程 安排 、 任 务 追踪 、 综 
合 审批 流程 等 。 

。 Internet 支持 。 

企业 内 部 网 通过 设立 防火 墙 、 代 理 服务 器 等 接 入 Intemet 网 ， 使 员工 享受 Internet 上 
提供 的 各 种 服务 ， 扩 大 信息 获取 渠道 ， 弥 补 Intranet 站 点 上 功能 及 信息 的 不 足 。 

这 部 分 的 测试 重点 是 验证 功能 设置 能 否 满足 用 户 需 求 。 

2. 信息 组 织 结构 设计 的 测试 

信息 是 Web 应 用 系统 ， 特 别 是 Web 站 后 的 灵魂 ， 信 息 发 布 是 Web 应 用 系统 的 一 个 
重要 功能 。 在 进行 Web 应 用 系统 设计 时 , 要 确保 把 需要 发 布 的 信息 按 功 能 、 主题 等 分 类 ， 
并 以 某 种 方式 结构 化 相应 的 信息 ， 使 用 户 能 直观 、 快 捷 地 查 到 所 需 信息 。 信 息 组 织 结构 
设计 主要 有 线性 结构 设计 、 分 层 结构 设计 和 非 线 性 结构 设计 三 种 。 

线性 结构 信息 的 组 织 方 式 与 一 本 书 的 组 织 方式 相似 ， 信 息 按 顺序 链接 ， 一 页 紧 接 另 
一 页 。 它 限制 用 户 不 能 以 非 顺 序 〈 即 非 线性 ) 方式 浏览 内 容 ， 但 可 允许 用 户 向 前 或 向 后 
搜索 信息 内 容 。 

分 层 结构 信息 以 树 形 方式 组 织 信息 ， 采 用 线性 路 径 搜 索 方式 浏览 信息 内 容 。 它 具有 
层次 清楚 、 易 于 查找 等 特点 ， 搜 索 路 径 只 能 向 上 或 向 下 。 

非 线 性 结构 信息 按 内 容 的 关系 链接 信息 ， 没 有 明显 的 结构 。 它 允许 用 户 随 意 地 在 信 
息 中 漫游 。 用 户 可 在 非 线性 结构 中 完全 自由 地 改变 信息 浏览 路 径 。 

对 信息 组 织 A hh a a 息 的 特点 ， 能 否 使 用 户 
直观 、 人 快捷 地 浏览 到 所 衢 信息 。 
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3. 页 面 设计 的 测试 

页 面 是 信息 的 载体 , 它 直 接 体现 Web 站 点 的 设计 水 平 。 一 个 好 的 页 面 因 信息 层次 清 
晰 而 让 用 户 一 目 了 然 ， 因 设计 巧妙 、 精 致 美观 而 让 用 户 流连 忘 返 ， 因 恰当 使 用 各 种 元 素 
能 完成 许多 功能 而 不 显 拥挤 。 对 页 面 设计 的 测试 可 从 以 下 几 个 方面 进行 : 

。 页 面 的 一 致 性 如 何 ; 

。 ”在 每 个 页 面 上 是 否 设 计 友 好 的 用 户 界面 和 直观 的 导航 系统 ; 

。 是 否 考虑 多 种 浏览 器 的 需要 ; 

。 是 否 建立 了 页 面 文件 的 命名 体系 ; 

。 是 否 充 分 考虑 了 合适 的 页 面 布局 技术 ， 如 层 登 样式 表 、 表 格 和 帧 结构 等 。 


9.2.4 ”服务 器 端 设 计 的 测试 


服务 器 端的 设计 包括 众多 的 内 容 ， 而 且 都 是 非常 重要 的 内 容 ， 例 如 数据 库 设计 、 安 
全 系统 设计 等 ， 这 些 设计 会 在 很 大 程度 上 影响 到 Web 应 用 系统 的 性 能 、 安 全 性 、 可 舍 性 
等 ， 因 此 要 对 这 些 设 计 进行 严格 的 测试 。 下 面 分 别 讲述 对 容量 规划 、 完 全 系统 设计 和 数 
据 库 设计 的 测试 。 

1， 容量 规划 的 测试 

大 多 数 进程 被 划分 为 两 类 : 输入 输出 限制 (UVO-bound) 和 CPU 限制 (CPU-bound )。 
用 于 静态 HTML 的 常常 是 IO-bound， 从 硬盘 检索 文件 的 速度 受到 该 速率 的 限制 ， 同 时 
文件 从 网 络 接口 移出 时 受到 该 速度 的 限制 。 动 态 HTML 的 产生 恰好 相反 ， 它 常常 是 
CPU-bound 的 ， 也 束 是 说 它 用 于 产生 页 面 的 时 间 要 比 将 页 面 移出 网 络 接口 的 时 间 要 长 。 
CPU 此 时 的 作用 很 关键 ， 特 别 是 用 CGI 或 Java Servlet 来 创建 动态 页 面 时 尤其 明显 ， 并 
且 大 多 数 此 类 CPU 处 理 是 串 操作 。 另 一 方面 ,依赖 于 数据 库 查 询 的 动态 内 容 常 章 受 到 数 
据 库 速度 的 限制 ， 数 据 库 又 通常 是 WO-bound 的 ， 因 为 它 需 要 从 硬盘 上 检索 数据 。 容 量 
规划 就 是 把 用 户 的 需求 量化 成 具体 指标 ， 作 为 Web 设计 的 一 个 重要 依据 。 

进行 容量 规划 是 非常 必要 和 重要 的 , 它 和 Web 应 用 系统 的 性 能 是 息息相关 的 。 对 容 
量规 划 的 测试 也 非常 必要 ， 评 价 容 重 规划 设计 的 关键 在 于 : 将 所 要 求 的 延迟 和 带宽 与 该 
“体系 结构 中 每 一 环节 的 额定 容量 作 一 比较 ， 每 个 组 成 部 分 都 必须 满足 这 些 要 求 ， 其 中 还 

必须 要 考虑 到 系统 各 部 分 之 间 可 能 产生 的 内 耗 ， 以 及 对 该 体系 的 生命 周期 可 能 增加 的 负 
载 。 对 容量 规划 的 测试 方法 是 ， 检 查 容重 规划 是 否 满足 用 户 的 需求 ， 可 以 从 以 下 几 个 方 
面 进行 检查 。 

。 估算 点 击 率 是 否 满足 需求 。 

点 击 率 就 是 每 秒 HTTP 的 请 求 数 ， 也 叫 每 秒 被 访问 的 次 数 。 从 统计 学 的 角度 来 看 ， 
服务 器 的 负载 是 时 间 的 函数 ， 根 据 Web 内 容 和 用 户 群 的 分 布 ， 时 间 函 数 表 现 的 曲线 是 不 


www.TopSage.com 


第 9 章 ”Web 应 用 测试 Se 


同 的 。 对 点 击 率 的 估算 可 采用 80~20 原理 和 UCML 方法 (参见 本 书 负载 压力 测试 部 分 
内 容 )， 根 据 用 户 的 需求 估算 容量 规划 中 的 点 击 率 是 测试 的 一 个 主要 方法 。 

。 估算 延迟 和 流量 是 否 满足 需求 。 

规划 流量 及 延迟 目标 必须 要 考虑 用 户 访问 网 络 的 能 力 及 期 望 值 ， 因 此 这 部 分 测试 就 
是 对 用 户 的 情况 进行 分 析 , 检查 容量 规划 中 确定 的 流量 及 延迟 是 否 能 达到 用 户 的 期 望 值 。 
如 果 容 量规 划 是 以 宽带 接 入 的 用 户 的 标准 进行 设计 的 ， 那 么 这 些 指 标 对 使 用 调制 解 调 器 
上 网 的 用 户 来 说 就 不 适用 了 ， 可 能 延迟 时 间 会 超过 他 们 的 接受 范围 。 

在 估算 时 还 要 注意 Web 应 用 系统 设计 中 是 否 提供 流 媒 体 ， 流 媒体 需要 连续 传输 ， 可 
能 持续 几 分 钟 的 时 间 ， 这 和 标准 HTTP 传输 的 连接 时 间 有 很 大 不 同 。 另 外 ， 流 媒体 有 不 
同 的 格式 ， 例 如 音频 和 视频 ， 它 们 的 估算 公式 和 标准 也 是 不 一 样 的 。 它 们 会 占用 大 量 带 
宽 ， 对 延迟 时 间 有 严格 的 要 求 。 

。 估算 Web 应 用 系统 所 需 服 务 器 的 资源 消耗 。 

服务 器 的 内 存 是 需要 重点 考虑 的 ， 经 常 是 性 能 瓶颈 所 在 。 当 内 存 不 足 时 ， 有 的 进程 
会 转移 到 硬盘 上 去 运行 ， 造 成 性 能 急剧 下 降 。 而 有 全， 一 个 缺少 内 存 的 系统 常常 表现 出 很 
高 的 CPU 利用 率 ， 因 为 它 需 要 不 断 地 扫描 内 存 ， 将 内 存 中 的 页 面 移 到 磁盘 上 。 估 算 所 和 需 
的 内 存 需 要 考虑 几 个 方面 ， 操 作 系统 所 项 内 存 、Web 高 速 缓存 所 和 需 内 存 、CGI 所 需 内 
存 等 。 

2， 安 全 系统 设计 的 测试 

安全 是 贯穿 Web 应 用 系统 设计 、 运 行 、 管 理 等 全 过 程 的 一 个 非常 重要 的 因素 ， 需 要 
从 多 方面 考虑 ， 才 能 制定 出 一 个 较为 完善 的 安全 策略 ， 保 证 Web 应 用 安全 运行 。 因 此 ， 
在 对 Web 应 用 系统 设计 的 测试 中 ， 对 安全 系统 设计 的 测试 是 一 个 重要 内 容 ， 一 般 从 以 下 
几 个 方面 进行 审核 和 评估 。 

QD 常识 性 安全 策略 。 评 估 设 计 中 对 重要 的 部 分 是 否 采取 了 取消 不 必要 的 协议 、 严 
格 控制 写 权 限 、 取 消 服务 器 目录 浏览 属性 、 保 留 日 志 记 录 等 安全 措施 。 

@ 使 用 加 密 技 术 。 为 保证 重要 数据 在 网 上 传输 过 程 中 不 被 人 窃听 或 修改 ， 必 须 对 
数据 进行 加 密 ， 确 保 数据 传输 的 安全 性 。 加 密 的 方法 很 多 ， 如 公共 密 钥 加 密 、 数 字 签 名 、 
链 加 密 、 文 档 加 密 、SSL 和 SHTTP 等 。 审 核 采用 的 加 密 方式 能 和 否 满足 用 户 和 需求。 

@ 构造 防火 墙 。 当 Web 应 用 系统 与 外 部 网 络 连接 时 ， 还 必须 构造 防火 墙 ， 一 般 防 
火 墙 保护 分 为 网 络 级 、 应 用 级 和 电路 级 等 三 种 防 方式 。 审 核 采 用 的 防火 墙 方式 和 安全 级 
别 能 否 满足 用 户 需 求 。 

@ 构建 网 络 防毒 体系 。 病 毒 在 网 络 中 存储 、 传 播 、 感 染 的 途径 多 、 速 度 快 、 方 式 
各 异 ， 对 Web 系统 的 危害 较 大 。 因 此 ， 需 要 构建 必要 的 网 络 防毒 体系 。 验 证 网 络 防毒 体 
系 设计 是 否 防 护 全 面 、 多 层次 和 全 方位 。 
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3， 数据库 设计 的 测试 
数据 库 设 计 是 一 个 重要 内 容 ， 对 数据 库 设 计 的 测试 在 本 书 的 相关 章节 论述 ， 这 里 不 
再 奖 述 。 


9.3 ”Web 应 用 开发 测试 


9.3.1 Web 应 用 开发 测试 概述 


Web 应 用 开发 测试 主要 指 在 Web 应 用 的 开发 阶段 ， 对 Web 应 用 的 源 代码 和 组 件 进 
行 测试 ,保证 代码 的 正确 性 , 组 件 的 功能 正常 。 在 后 面 我 们 给 出 一 个 利用 Junit 进行 Java 
开发 的 代码 进行 单元 测试 的 例子 。 


9.3.2 ”代码 测试 


对 Web 应 用 系统 的 代码 测试 主要 包括 以 下 几 个 方面 : 源 代 码 规则 分 析 、 链 接 测试 、 
页 面 静态 对 象 测 试 等 ， 下 面 分 别 令 述 。 

1， 源 代码 规则 分 析 

主要 方法 是 使 用 基于 规则 检查 的 工具 ， 读 取 输 入 的 源 代码 ， 然 后 将 源 代 码 与 编码 标 
准 或 语言 规则 相对 腿 ， 以 找 出 存在 于 两 者 之 间 的 不 一 臻 性， 或 者 存在 于 源 代码 当中 的 潜 
在 错误 。 从 某 种 意义 上 说 ， 这 类 工具 与 文字 处 理 器 中 的 语法 和 拼写 检查 器 十 分 相似 。 

HTML 校 验 工具 通常 与 下 面 将 要 使 用 的 链接 验证 工具 集成 在 一 起 , 主要 有 ”Watchfire 
Linkbot”“ParaSoft SiteRuler”、“Matterform Media Theseus ”等 软件 。 男 外 ， 互 联网 上 
还 有 很 多 免费 在 线 验 证 HTML 和 检查 链接 的 服务 网 站 ， 如 http://validator.w3.org、 
http://watson.addy.com 等 。 

2， 链接 测试 

链接 是 Web 应 用 系统 的 一 个 主要 特征 , 它 是 在 页 面 之 间 切 换 和 指导 用 户 去 一 些 不 知 
道 地 址 的 页 面 的 主要 手段 。 链 接 测 试 可 分 为 三 个 方面 。 首 先 ， 测 试 所 有 链接 是 否 按 指示 
的 那样 确实 链接 到 了 该 链接 的 页 面 其 次 ， 测 试 所 链接 的 页 面 是 否 存 在 ; 坡 后 ， 保 证 
Web 应 用 系统 上 没有 孤立 的 页 面 ， 所 谓 孤 立 页 面 是 指 没 有 链接 指向 该 页 面 ， 只 有 知道 正 
确 的 URL 地 址 才能 访问 。 

测试 方法 很 简单 ， 就 是 逐一 检查 链接 的 有 效 性 、 可 达 性 、 正 确 性 等 ， 链 接 测试 可 以 
自动 进行 ， 有 许多 可 代 普 手工 操作 的 链接 验证 工具 ， 在 功能 测试 部 分 有 所 介绍 。 

3. 框架 测试 

主要 检查 以 下 几 个 方面 : 
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是 否 可 随 浏 览 窗口 的 变化 自动 调整 大 小 ; 

在 当前 窗口 不 能 完全 显示 内 容 时 是 否 提供 滚动 条 功能 ; 

能 否 在 正确 的 目标 框架 中 打开 新 页 面 。 

4. 表格 测试 

主要 检查 表格 能 否 随 浏览 器 窗口 的 变化 或 页 面 的 变化 自动 调整 大 小 。 
5， 图 形 测 试 (Graphics) 

主要 检查 点 如 下 ; 

。 颜色 饱和 度 和 对 比 度 是 否 合适 ; 

。 ”需要 突出 的 链接 的 颜色 是 否 容易 识别 ; 

。 是 否 正确 加 载 所 有 的 图 形 。 


9.3.3 ”组 件 测试 


由 于 “组 件 ” 的 概念 被 广泛 使 用 ， We 
一 下 Web 组 件 (Web component) 在 本 书 中 的 定义 。 

所 谓 Web 组 件 是 指 这 样 一 个 软件 单元 ， 它 被 用 于 Web 系统 中 ， 通常 嵌入 页 面 中 ， 
有 些 组 件 为 完成 一 个 特定 的 功能 而 存在 于 Web 页 面 中 或 服务 器 上 , 用 户 的 使 用 请 求 可 以 
通过 浏览 器 的 解释 传递 给 组 件 ， 组 件 执 行 的 结果 经 浏览 器 传递 给 用 户 。 

Web 组 件 范围 是 非常 广 的 , 随 着 Web 系统 设计 技术 的 更 新 在 不 断 发 展 着 。 例如 我 们 
常见 的 Java applet、ActiveX 控件 、VB 脚本 、Javascript、 各 种 插件 、 外 接 件 等 都 属于 此 
列 。 随 着 Web 编程 技术 的 更 新 ， 越 来 越 多 的 第 三 人 了 支持 Web 的 组 件 ， 例 如 
RealPlayer 插件 、QuickTime 插件 等 。 . 

对 于 一 般 的 组 件 测试 来 说 ， 可 分 为 外 形 测试 和 交互 测试 ， 也 可 称 为 静态 测试 和 动态 
测试 。 由 于 Web 组 件 的 范围 十 分 广泛 ， 相 互 之 间 差 异 较 大 ， 其 测试 方法 也 因 对 象 不 同 而 
有 所 区 别 ， 我 们 将 在 后 面 重点 介绍 几 种 组 件 的 测试 方法 。 

1. 表单 (Forms) 测试 

当 用 户 给 Web 应 用 系统 管理 员 提交 信息 时 ， 就 需要 使 用 表单 操作 ， 例 如 用 户 注册 、 
登录 、 信 息 提 交 等 。 在 这 种 情况 下 ， 我 们 必须 测试 提交 操作 的 完整 性 ， 以 校 验 提交 给 服 
务 器 的 信息 的 正确 性 。 例 如 ; 用 户 填写 的 出 生日 期 与 职业 是 否 恰当 ， 填 写 的 所 局 省 份 与 
所 在 城市 是 否 匹 配 等 。 如 果 使 用 了 默认 值 ， 还 要 检验 默认 值 的 正确 性 。 如 果 表 单 只 能 接 
受 指 定 的 某 些 值 ， 则 也 要 进行 测试 。 例 如 ， 只 能 接受 某 些 字符 ， 测 试 时 可 以 跳 过 这 些 字 
符 ， 看 系统 是 否 会 报错 。 

除了 测试 表单 实现 的 功能 ， 还 要 检查 Form Nl 如 文字 环绕 、 随 窗口 
的 大 小 调整 大 小 等 。 
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2. Cookies 测试 

Cookies 通常 用 来 存储 用 户 信 息 和 用 户 在 某 应 用 系统 的 操作 ， 当 一 个 用 尸 使 用 
Cookies 访问 了 某 一 个 应 用 系统 时 ，Web 服务 器 将 发 送 关 于 用 户 的 信息 ， 把 该 信息 以 
Cookies 的 形式 存储 在 客户 端 计 算 机 上 ， 这 可 用 来 创建 动态 和 自 定义 页 面 或 者 存储 登录 
等 信息 。 

如 果 Web 应 用 系统 使 用 了 Cookies， 就 必须 检查 Cookies 是 否 能 正常 工作 。 测 试 的 
内 容 可 包括 Cookies 是 否 起 作用 ， 是 否 技 预定 的 时 间 进 行 保存 ， 刷 新 对 Cookies 有 什么 
影响 等 。 

3. 脚本 测试 

由 于 脚本 采用 不 同 的 语言 编写 ， 脚 本 的 测试 可 以 分 为 毅 态 测试 和 动态 测试 。 

表态 测试 是 指 手工 或 利用 工具 检查 脚本 的 源 代 码 的 语法 错误 、 逻 辑 错误 和 其 他 与 语 
言 有 关 的 编程 错误 ， 通 党 在 单元 测试 阶段 实施 ， 由 开发 人 员 执 行 。 有 很 多 基于 其 他 编程 
和 脚本 语言 的 , 基于 规则 的 分 析 器 可 用 来 进行 浪 态 测试 , 如 检查 VB 脚本 的 “Compuware 
Numega CodeReview ”检查 C/C++ 脚 本 的 “ParaSoft Codewizard ”检查 Java 的 “ParaSoft 
Jtest” 等 。 

动态 测试 指 对 Java、Javascript、 VBScript 、C/C++ 或 Perl 等 脚本 的 功能 进行 逐一 
验证 。 需 要 特别 注意 的 是 ， 不 同 的 浏览 器 可 能 要 加 一 定 的 插件 或 补丁 才能 支持 上 述 的 一 
些 脚 本 。 

4，CGI 测试 
.CGI 是 一 种 服务 器 端 技术 ， 给 巴 用 户 一 定 的 交互 操作 权利 。 实际 上 CGI 是 一 种 协议 ， 
用 户 可 以 通过 浏览 器 去 实施 在 服务 器 上 的 一 些 操作 ， 包 括 运行 服务 器 上 的 .exe 程序 。 所 
以 测试 CGI 时 ， 可 以 在 服务 器 上 使 用 一 些 监控 器 查看 执行 CGI 的 结果 。 

同样 ，CGI 也 会 遇 到 性 能 问题 ， 在 需要 的 时 候 也 要 对 CGI 进行 性 能 测试 。 

5. ASP 测试 

ASP 实际 上 是 一 种 含有 脚本 命令 的 文本 文件 ， 以 .asp 作为 文件 扩展 名 ， 它 缺 省 的 和 炳 
出 是 HTML 或 HTML 及 可 在 客户 端 处 理 的 脚本 。 

测试 ASP 时 ， 可 先 作 代码 检查 ， 发 现 语 法 及 其 他 明显 的 编码 错误 ， 然 后 再 用 不 
同 的 浏览 器 进行 验证 ， 以 发 现 ASP 是 否 工作 正常 。 在 测试 ASP 时 需要 注意 以 下 几 个 
方面 。 | 

。 注意 训 览 器 的 缓存 问题 。 缓 存 设置 有 时 会 影响 到 某 些 ASP 的 执行 。 

e 正确 设置 超时 。 超 时 会 导致 一 些 ASP 页 面 失效 ， 从 而 不 能 正确 执行 。 

e 一些 ASP 的 性 能 测试 是 非常 必要 的 。 人 ASP 

的 性 能 测试 可 放 到 Web 应 用 系统 的 性 能 测试 中 考虑 。 
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6，ActiveX 控件 测试 
ActiveX 控件 是 客户 端 技术 , 实际 上 类 似 于 Win32 程序 中 的 OCX 控件 , 也 是 一 种 很 
常用 的 控件 ， 在 很 多 Web 系统 设计 中 都 会 用 到 。 RUEHD, ActiveX 控件 时 要 注意 以 下 
几 个 方面 。 
e ActiveX 只 能 用 于 Windows 客户 端 ， 如 果 我 们 使 用 诸如 Nop 的 浏览 器 时 ， 
需要 添加 相应 的 插件 。 
e。 ActiveX 应 用 是 编译 后 的 应 用 ， 在 用 户 浏 览 时 需要 下 载 到 客户 端 运行 ， 因 此， 客 
户 端的 安全 设置 可 能 会 影响 到 ActiveX 控件 的 使 用 。 re de ActiveX 
控件 的 签名 注册 通过 验证 。 
e 由 于 用 户 有 权 拒 绝 使 用 ActiveX 控件 ， 所 以 ， 需 要 测试 在 ActiveX 控件 没有 下 
载 时 ，Web 系统 的 功能 受 影响 的 程度 。 
。 要 专门 进行 ActiveX 控件 的 安装 与 卸载 测试 ， 考 察 安装 与 卸载 过 程 是 否 能 顺利 
进行 。 
。 测试 之 前 需要 确认 测试 环境 中 没有 旧版 本 的 控件 ， 如 果 有 ， 一 定 要 卸载 后 进行 
重新 安装 测试 。 因 为 ActiveX 控件 与 其 他 组 件 不 同 ， 在 网 页 更 新 时 不 会 目 动量 
新 安装 。 


9.3.4 ”使 用 Junit 进行 单元 测试 


越 来 越 多 的 Web 应 用 采用 Java 技术 开发 下 面 以 Junit 为 例 讨论 Java 开发 的 Web 
应 用 的 单元 测试 。 

Junit Framework 是 一 个 被 多 数 Java 程序 员 采 用 和 证 实 的 优秀 的 测试 框架 ， 可 以 用 
Junit Framework 来 编写 适应 自己 开发 项 目的 单元 测试 程序 。Junit 的 用 户 指南 ， 重 点 在 于 
解释 单元 测试 框架 的 设计 方法 以 及 简单 的 类 使 用 说 明 ， 而 对 在 特定 的 测试 框架 下 如 何 实 
施 单 元 测试 ， 如 何在 项 目 开 发 的 过 程 中 更 新 和 维护 已 经 存在 的 单元 测试 代码 没有 详细 的 
解释 ， 下 面 就 这 两 个 需要 解决 的 问题 进一步 说 明 。 

1， 单 元 测试 的 编写 原则 

Junit 附带 文档 所 列举 的 单元 测试 带 有 一 定 的 迷惑 性 ， 因 为 几乎 所 有 的 示例 单元 都 是 
针对 某 个 对 象 的 某 个 方法 ,似乎 Junit 的 单元 测试 仅 适 用 于 类 组 织 结构 的 静态 约束 ， 从 而 
使 初学 者 怀疑 Junit 下 的 单元 测试 所 能 带 来 的 效果 。 因 此 ,我们 需要 重新 定义 如 何 确定 有 
价值 的 单元 测试 ， 以 及 如 何 编写 这 些 单元 测试 、 维 护 这 些 单 元 测试 ， 从 而 让 更 多 的 程序 
员 接受 并 熟悉 Junit 下 的 单元 测试 的 编写 。 

在 进行 Junit 单元 测试 框架 的 设计 时 ， 设 定 了 如 下 三 个 总 体 目标 ; 

Q 简化 测试 框架 的 编写 ， 这 种 简化 包括 测试 框架 的 学 习 和 实际 测试 单元 的 编写 
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外 使 测试 单元 保持 持久 性 ; 

@ 可 以 利用 已 有 的 框架 来 编写 相关 的 框架 。 

从 这 三 个 目标 可 以 看 出 ， 单 元 测试 框架 的 基本 设计 考虑 依然 是 从 我 们 现 有 的 测试 方 
式 和 方法 出 发 ， 而 只 是 使 测试 变 得 更 加 容易 实施 、 扩 展 并 保持 持久 性 。 因 此 编写 单元 测 
试 的 原则 可 以 借鉴 和 利用 我 们 通常 使 用 的 测试 方法 。 

2. 如 何 确定 单元 测试 

在 通常 的 测试 中 ， 一 个 单元 测试 一 般 针对 于 特定 对 象 的 一 个 特定 特性 ， 例 如 ， 假 定 
编写 了 一 个 针对 特定 数据 库 访 问 的 连接 池 的 类 包 实 现 ， 则 要 建立 以 下 的 单元 测试 。 

e， 在 连接 池 启 动 后 ， 是 否 根据 定义 的 规则 在 池 中 建立 了 相应 数量 的 数据 库 连 接 ; 

e 申请 一 个 数据 库 连 接 ， 是 否 根 据 定义 的 规则 从 池 中 直接 获得 缓存 连接 的 引用 ， 

还 是 建立 新 的 连接 ; 

e。 释放 一 个 数据 库 连接 后 ， 连 接 是 否 根 据 定义 的 规则 被 释放 以 便 以 后 使 用 ; 

。 后台 Housekeeping 线程 是 否 技 照 定义 的 规则 释放 已 经 过 期 的 连接 申请 ; 

。 如果 连接 有 时 间 期 限 ， 后 台 Housekeeping 线程 是 否定 期 释放 已 经 过 期 的 缓存 

连接 。 

这 里 只 列 出 了 部 分 的 可 能 测试 ， 但 是 可 以 看 出 单元 测试 的 粒度 。 一 个 单元 测试 基本 
是 以 一 个 对 象 的 明确 特性 为 基础 ， 单 元 测试 的 过 程 应 该 限定 在 一 个 明确 的 线程 范围 内 。 
根据 上 面 所 述 ， 一 个 单元 测试 的 测试 过 程 非常 类 似 于 一 个 Use Case 的 定义 ， 但 是 单元 测 
试 的 粒度 一 般 来 说 比 Use Case 的 定义 要 小 , 这 点 是 容易 理解 的 。 因 为 Use Case 是 以 单独 
的 事务 单元 为 基础 的 ， 而 单元 测试 是 以 一 组 聚合 性 很 强 的 对 象 的 特定 特征 为 基础 的 。 一 
般 而 言 ， 一 个 事务 中 会 利用 许多 的 系统 特征 来 完成 具体 的 软件 需求 。 

从 上 面 的 分 析 可 以 得 出 ， 测 试 单 元 应 该 把 一 个 对 象 的 内 部 状态 的 转换 为 基本 编写 单 
元 。 一 个 软件 系统 就 和 一 辆 设计 好 的 汽车 一 样 ， 系 统 的 状态 是 由 同一 时 刻 系 统 内 部 的 各 
个 分 立 的 部 件 的 状态 决定 的 ， 因 此 为 了 确定 一 个 系统 最 终 的 行为 符合 要 求 ， 我 们 首先 需 
要 保证 系统 内 的 各 个 部 分 的 状态 会 符合 我 们 的 设计 要 求 ， 所 以 我 们 的 测试 单元 的 重点 应 
该 放 在 确定 对 象 的 状态 变换 上 。 

然而 ， 需 要 注意 的 并 不 是 所 有 的 对 象 组 特征 都 需要 被 编写 成 独立 的 测试 单元 ， 应 该 
在 有 可 能 引入 错误 的 地 方 引入 测试 单元 ， 通 常 这 些 地 方 存 在 于 有 特定 边界 条 件 、 复 杂 算 
法 以 及 需求 变动 比较 频繁 的 代码 逻辑 中 。 除 了 这 些 特性 需要 被 编写 成 独立 的 测试 单元 外 ， 
还 有 一 些 边界 条 件 比 较 复杂 的 对 和 象 方法 也 应 该 被 编写 成 独立 的 测试 单元 ， 这 部 分 单元 测 
试 已 经 在 Junit 文档 中 被 较 好 地 描述 和 解释 过 了 。 

在 基本 确定 了 需要 编写 的 单元 测试 之 后 ， 我 们 还 应 该 问 自己 : 编写 好 了 这 些 测试 ， 
我 们 是 否 可 以 有 把 握 地 告诉 自己 ， 如 果 代 码 通 过 了 这 些 单元 测试 ， 我 们 能 认定 程序 的 运 
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行 是 正确 的 ， 符 合 需求 的 。 如 果 我 们 不 能 非常 地 确定 ， 就 应 该 看 看 是 否 还 有 过 漏 的 需要 
编写 的 单元 测试 ， 或 者 重新 审视 我 们 对 软件 需求 的 理解 。 通 常 来 说 ， 在 开始 使 用 单元 测 
试 的 时 候 ， 大 多 数 单 元 测试 总 是 没有 错误 的 。 

一 有 旦 我 们 确定 了 需要 编写 的 测试 单元 ， 接 下 来 就 应 该 着 手 编写 。 

3， 如 何 编写 单元 测试 

通常 强调 单元 测试 必须 由 类 包 的 编写 者 负责 编写 ， 这 个 限定 对 于 我 们 设 定 的 测试 目 
标 是 必须 的 。 因 为 只 有 这 样 ， 测 试 才能 保证 对 象 的 运行 行为 符合 需求 ， 而 通过 类 接口 的 
测试 ， 我 们 只 能 确保 对 象 符合 静态 约束 ， 因 此 这 就 要 求 我 们 在 测试 的 过 程 中 ， 必 须 开 放 
一 定 的 内 部 数据 结构 ， 或 者 针对 特定 的 运行 行为 建立 适当 的 数据 记录 ， 并 把 这 些 数据 暴 
路 给 特定 的 测试 单元 。 这 也 就 是 说 我 们 在 编写 单元 测试 时 必须 对 相应 的 类 包 进 行 修改 ， 
这 样 的 修改 也 发 生 在 我 们 以 前 使 用 的 测试 方法 中 ， 因 此 ， 以 前 的 测试 标记 及 其 他 一 些 测 
试 技巧 仍然 可 以 在 Junit 测试 中 改进 使 用 。 

由 于 单元 测试 的 总 体 目标 是 保证 软件 在 运行 过 程 中 的 正确 无 误 ， 因 此 在 我 们 对 一 个 
对 象 编 写 单元 测试 的 时 候 ， 我 们 不 但 需要 保证 类 的 静态 约束 符合 我 们 的 设计 意图 ， 而 且 
需要 保证 对 象 在 特定 条 件 下 的 运行 状态 符合 我 们 的 预先 设 定 。 下 面 还 是 盒 数据 库 缓 冲 池 
的 例子 进行 说 明 。 一 个 缓冲 池 棒 露 给 其 他 对 象 的 是 一 组 使 用 接口 ， 其 中 包括 对 池 的 参数 
设 定 、 池 的 初始 化 、 池 的 销毁 、 从 这 个 池 里 获得 一 个 数据 连接 ， 以 及 释放 连接 到 池 中 ， 
对 其 他 对 象 而 言 ， 随 着 各 种 条 件 的 触发 而 引起 池 的 内 部 状态 的 变化 是 不 需要 知道 的 ， 这 
一 点 也 是 符合 封装 原理 的 。 但 是 池 对 象 的 状态 变化 ， 例 如 缓存 的 连接 数 在 某 些 条 件 下 会 
增长 ， 一 个 连接 在 足够 长 的 运 衍 后 需要 被 彻底 释放 ， 从 而 使 池 的 连接 被 更 新 等 ， 昌 然 外 
部 对 象 不 需要 明确 ， 但 是 却 是 程序 运行 正确 的 保证 ， 所 以 我 们 的 单元 测试 必须 保证 这 些 
内 部 逻辑 被 正确 地 运行 。 

编译 语言 的 测试 和 调试 是 很 难 对 运行 逻辑 过 程 进行 跟踪 的 ， 但 是 我 们 知道 ， 无 论 逻 
辑 怎么 运行 ， 如 果 状 态 的 转换 符合 我 们 的 行为 设 定 ， 那 么 结果 显然 是 正确 的 。 因 此 ， 在 
对 一 个 对 象 进 行 单元 测试 的 时 候 ， 我 们 需要 对 多 数 的 状态 转换 进行 分 析 和 对 照 ， 从 而 验 
证 对 象 的 行为 。 状 态 是 通过 一 系列 的 状态 数据 来 描述 的 ， 因 此 编写 单元 测试 ， 首 先 分 析 
出 状态 的 变化 过 程 (状态 转换 图 对 这 个 过 程 的 描述 非常 清晰 ), 然后 根据 状态 的 定义 确定 
分 析 的 状态 数据 ， 最 后 是 提供 这 些 内 部 的 状态 数据 的 访问 。 在 数据 库 连 接 池 的 例子 中 ， 
我 们 对 池 实 现 的 对 象 “DefaultConnectionProxy” 的 状态 变换 进行 分 析 后 ， 我 们 决定 把 表 
征 状 态 的 “OracleConnectionCacheImpl” 对 象 公开 给 测试 类 。 参 见 示例 1。 

【示例 1】 z 

/不 


* 这 个 类 简单 地 包装 了 Oracle 对 数据 连接 缓冲 池 的 实现 。 


www.TopSage.com 


300 


软件 评测 师 教程 


中 

+ 

public class DefaultConnectionProxy extends ConnectionProxy { 
private static final String name = "Default Connection Proxy", 
private static final String description = 

"这 个 类 简单 地 包装 了 Oracle 对 数据 连接 缓冲 池 的 实现 。"; 
private static final String author = "Ion-Global.com", 

private static final int major version = 0; 

private static final int minor version = 9; 

private static final boolean pooled = true; 

private ConnectionBroker connectionBroker = nu]]; 

private Properties props; 

private Properties propDescriptions; 

private Object initLock = new Object(), 

I Test Code Begin... 

人 


为 了 能 够 了 解 对 象 的 状态 变化 , 需要 给 表征 对 象 内 部 状态 变化 的 部 分 私有 变 重 提 


供 公 共 的 访问 接口 〈 或 者 提供 让 同一 个 类 包 访 问 的 接口 )， 以 便 使 测试 单元 可 以 有 效 
地 判断 对 象 的 状态 转变 ， 在 本 示例 中 对 包装 的 i 对 象 提供 
访问 接口 。 


#/ 
OracleConnectionCachelImpl getConnectionCache() { 
if (connectionBroker == nvll) { 

throw new IllegalStateException("You need start the server 


4 first."); 


} 


return connectionBroker.getConnectionCache(); 
} 
1 Test Code End... 


在 公开 内 部 状态 数据 后 ， 我 们 就 可 以 编写 我 们 的 测试 单元 了 。 单 元 测试 的 选择 方法 


和 选择 尺度 已 经 在 前 面 章 节 进 行 了 说 明 。 但 是 仍然 需要 注意 的 是 ， 由 于 assert 方法 会 抛 
出 一 个 error， 你 应 该 在 测试 方法 的 最 后 集中 用 assert 相关 方法 进行 判断 ， 这 样 可 以 确保 
资源 得 到 释放 。 对 数据 库 连 接 池 的 例子 ， 我 们 可 以 建立 测试 类 DefaultConnection- 
ProxyTest， 同 时 建立 数 个 测试 案例 ， 如 下 所 示 。 
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/中 


?这 个 类 对 示例 1 中 的 类 进行 简单 的 测试 。 

让 

*/ 
public class DefaultConnectionProxyTest extends TestCase { 
private DefavltConnectionProxy conProxy = null, 

private OracleConnectionCachelmpl cacheimpl = null, 

private Connection con = null; 

/** 建立 必要 的 测试 起 始 环 境 。 

让 / ee + 证 
protected void setUp() { 

conProxy = new DefaultConnectionProxy(); 

conProxy.start(); 

cacheImpl = conProxy.getConnectionCache(); 

} 

/**# 对 示例 1 中 的 对 象 进行 服务 启动 后 的 状态 进行 测试 ， 检 查 在 服务 启动 后 ， 
连接 池 的 参数 设置 是 否 正确 。 

*/ 

public void testConnectionProxyStartO { 

int minConnections = 0， 

int maxConnections = 0; 

assertNotNull(cachelmp!}); 

ty { 

minConnections = 
IntegerparseJnt(PropertyManagergetProperty 
("DefaultConnectionProxy.minConnections")); 
maxConnections = 
Integer.parseInt(PropertyManager.getProperty 
("DefaultConnectionProxy.maxConnections")): 

} catch (Exception e) { : 

AM/ ignore the exception 

} 

assertEquals(cachelmpl.getMinLimit(), minConnections); 
assertEquals(cachelImp!l.getMaxLimit(), maxConnections); 
assertEquals(cachelImpl.getCacheSize(), minConnections); 


} z oe 
/** 对 示例 1 中 的 对 象 进行 获取 数据 库 连接 的 测试 ， 看 看 是 否 可 以 获取 有 效 的 数据 库 连 接 ， 并 且 
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看 看 获取 连接 后 ， 连 接 池 的 状态 是 否 按 照 既 定 的 策略 进行 变化 。 由 于 assert 方法 抛 出 的 是 error 对 
象 ， 因 此 ， 尽 可 能 把 assert 方法 放置 到 方法 的 最 后 ,集体 进 行 测 试 ， 这 样 在 方法 内 打开 的 资源 ， 才 
能 有 效 地 被 正确 关闭 。 

中 

public vold testGetConnection() { 

int cacheSize = cacheImpl.getCacheSize(); 

int activeSize = cachelmpl.getActiveSize(); 

int cacheSizeAfter = 0, 

int activeSizeAfter = 0,; 

con = conProxy.getConnection(); 

if (con != null) { 

activeSizeAfter = cachelmpl.getActiveSize{); 

cacheSizeAfter = cachelmpl.getCacheSize(); 

ty { 

con.close(); 

} catch (SQLException €) { 

} 

} else { 

assertNotNull(con); 


} 
A* 如 果 连 接 池 中 的 实际 使 用 连接 数 小 于 组 存 连 接 数 , 检查 获取 的 新 的 数据 连接 是 否 从 级 存 中 获取 ， 
反之 连接 池 是 否 建立 新 的 连接 。 
9/ 
if (cacheSize > activeSize) { 
assertEquals(activeSize + 1, activeSizeAfter), 
assertEquals(cacheSize, cacheSizeA fter); 
} else { 
assertEquals(activeSize + 1, cacheSizeAfter), 
} 
| 
/ee 对 示例 1 中 的 对 象 进行 数 据 库 连 接 有 释放 的 测试 ， 看 看 连接 释放 后 ， 连 接 池 的 状态 是 否 按照 既 
定 的 策略 进行 变化 。 由 于 assert 方法 抛 出 的 是 error 对 象 ， 因 此 尽 可 能 把 assert 方法 放置 到 方法 的 
最 后 你 体 进行 测试 ， 这 样 在 方法 内 打开 的 资源 ， 才 能 有 效 地 被 正确 关闭 。 
/| 
public void testConnectionClose() { 
int minConnections = cachelmpl.getMinLimit(); 
int cacheSize = 0, 
int activeSize = 0; 
int cacheSizeAfter = 0; 
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int activeSizeAfter = 0; 

con = conProxy.getConnection(),; 

if (con != nul]) { 

cacheSize = cacheImpl,getCacheSize(); 

activeSize = cachelmp}.getActiveSize(); 

try { 

con.close(); 

} catch (SQLException e) { 

} 

activeSizeAfter = cacheImpl.getActiveSize(), 

cacheSizeAfter = cacheImpl.getCacheSize(); 

} else { 

assertNotNull(con); 

) 

assertEquals(activeSize, activeSizeAfter + 1); 

* 如 果 连 接 池 中 的 缓存 连接 数 大 于 最 少 组 存 连 接 数 ， 检 查 释 放 数 据 连 接 后 ， 是 否 绥 存 连接 数 比 之 
前 减少 了 一 个 ， 反 之 缓存 连接 数 是 否 保持 为 报 少 缓存 连接 数 。 

*/ 

if (cacheSize > minConnections) { 

assertEquals(cacheSize, cacheSizeAfter + 1); 

} else { 

assertEquals(cacheSize, minConnections), 


} 


} 

/** 释放 建立 测试 起 始 环境 时 的 资源 。 

ed 、 

protected void tearDown() { 

cachelImpl] = null, 

conProxy.destroy(); 

} 

public DefaultConnectionProxyTest(String name) { 

super(name); 

} / z | 

/** 你 可 以 简单 地 运行 这 个 类 从 而 对 类 中 所 包含 的 测试 单元 进行 测试 。 
#*/ a 
public static void main(String args[]) { 

junit.textui. TestRunner.run(DefaultConnectionProxyTest.class); 

} 

} 
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当 单 元 测试 完成 后 ， 我 们 可 以 用 Junit 提供 的 TestSuite 对 省 攻守 人 
你 可 以 决定 测试 的 顺序 ， 然 后 运行 你 的 测试 。 

4. 如 何 维护 单元 测试 

通过 上 面 的 描述 ， 我 们 对 如 何 确定 和 编写 测试 有 了 基本 的 了 解 ， 但 是 需求 总 是 变化 
的 ， 因 此 我 们 的 单元 测试 也 会 根据 需求 的 变化 不 断 地 演变 。 如 果 我 们 决定 修改 类 的 行为 
规则 ， 必 然 会 对 这 个 头 的 测试 单元 进行 修改 ， 以 适应 变化 。 但 是 ， 如 果 对 这 个 关中 仅 有 
调用 关系 的 类 的 行为 定义 没有 变化 ， 则 相应 的 单元 测试 仍然 是 可 和 对 和 充分 的 ， 同 时 如 果 
包含 行为 变化 的 类 的 对 象 的 状态 定义 与 其 没有 直接 的 关系 ， 测 试 单元 仍然 起 效 。 这 种 结 
果 也 是 封装 原则 的 优势 体现 。 


9.4 ”Web 应 用 运行 测试 


9.4.1 Web 应 用 运行 测试 概述 


Web 应 用 系统 开发 完成 后 , 需要 对 Web 应 用 进行 全 面 的 测试 ， 其 测试 方法 与 其 他 系 
统 的 测试 既 有 相同 之 处 ， 又 有 不 同 之 处 。 
相同 之 处 体现 在 下 面 几 个 方面 。 
。 测试 内 容 基 本 相同 : Web 应 用 系统 作为 软件 系统 的 一 种 形式 ， 其 测试 内 容 也 会 
包括 功能 、 性 能 、 易 用 性 、 兼 容 性 和 安全 性 测试 等 内 容 。. 
。 某 些 项 目的 测试 方法 基本 相同 ; 例如 Web 应 用 程序 的 功能 测试 与 其 他 系统 的 功 
能 测试 方法 是 一 样 的， 同样 是 根据 功能 说 明 书 、 需 求 说 明 书 等 文档 ， 使 用 因果 
图 法 、 边 界 值 法 等 技术 ， 设 计 测试 用 例 进 行 测 试 。 
e 测试 手段 基本 相同 : Web 应 用 系统 的 员 试 一 样 会 采用 人 工 测 试 、 工具 测试 、 评 
估 等 手段 。 
鉴于 Web 系统 的 自身 特点 ， 其 测试 与 传统 的 软件 测试 也 有 所 不 同 ， 使 测试 基于 Web 
的 系统 变 得 困难 。 
首先 是 测试 的 重点 不 一 样 ，Web 应 用 系统 的 性 能 可 能 是 开发 者 或 用 户 最 关心 的 一 个 
测试 内 容 ， 由 于 Intemet 的 不 可 预见 性 和 用 户 连接 数 的 不 固定 性 ， 人 们 经 常 对 Web 系统 
的 稳定 水 平 有 所 担心 。 另 外 ， 一 些 不 断 发 展 中 的 Web 设计 技术 也 使 Web 组 件 测试 变 得 
重要 。 安 全 性 对 某 些 涉及 交易 或 重要 数据 的 Web 应 用 系统 也 很 重要 。 由 于 用 户 客 户 端的 
不 确定 性 ， 易 用 性 测试 和 客户 端 配置 与 兼容 性 测试 也 是 必要 的 一 个 内 容 。 
其 次 是 测试 采用 的 工具 有 所 不 同 Web 应 用 的 一 些 测试 ， 如 链接 测试 、 表 单 测试 、 界 
面 测试 等 ， 通 常 采用 可 以 重复 执行 的 自动 化 工具 进行 ， 性 能 测试 除了 采用 LoadRunner、 
QALoad 等 通用 的 负载 压力 测试 工具 外 ， 还 有 很 多 专门 用 于 Web 系统 性 能 测试 的 工具 ， 
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如 WAST (Web Application Stress Tool)、ACT (Application Center Test)、Webload 等 。 

最 后 Web 应 用 系统 迫切 需要 新 的 测试 技术 和 方法 : Web 应 用 系统 的 开发 技术 是 更 新 
最 快 的 开发 技术 之 一 ， 针 对 这 种 新 组 件 、 新 技术 的 测试 手段 也 必须 及 时 探索 ， 甚 至 要 开 
发 出 新 的 测试 工具 以 满足 需求 。 


9.4.2 ”功能 测试 


Web 应 用 功能 测试 指 Web 应 用 系统 的 基本 功能 的 测试 , 其 案例 的 设计 方法 可 参见 有 
关 《 黑 盒 测 试 技术 》 章 节 的 内 容 。 

考虑 到 Web 应 用 本 身 的 特点 ， 人 以 下 几 个 方面 。 

。 客户 端的 选择 。 

Web 应 用 客户 端 软件 环境 主要 包 插 操作 系统 和 浏览 器 。 除 非 有 特殊 要 求 ， 测 试 功能 
时 ,我 们 一般 选择 比较 流行 的 配置 ， 如 选择 WindowsXP+IE6.0 的 简体 中 文 版 本 。 和 需要 注 
意 的 是 ， 浏 览 器 的 种 类 和 版 本 有 可 能 影响 功能 的 正确 实现 。 

。 客户 端 浏览 器 的 配置 。 

一 般 情况 下 ， 开 发 者 不 会 过 多 地 考虑 客户 端 配置 问题 ， 只 是 将 更 多 的 时 间 用 于 实现 
服务 端的 程序 ， 而 用 户 也 往往 不 会 刻意 地 对 所 使 用 的 浏览 器 进行 适应 性 配置 。 如 果 测 试 
人 员 完 全 按照 浏览 器 的 缺 省 配置 测试 一 个 Web 应 用 的 功能 , 有 可 能 会 出 现 较 多 的 因 浏 览 
器 配置 而 引起 的 问题 .下面 以 IE6.0 为 例 进行 说 明 , IE6.0 的 主要 配置 界面 如 图 9-2 所 示 。 


| 1 Enable inctad On Demand fintemel Erxpiorer) 


| 回 Enoblo tnstal On Demand (Other) 
! 


| |; 回 Ensbio olfine hems to bo synctsonized on a schedute We 
| Enobio pogo banstons 
I dt i ee (> | 
| 
REO RO OE 
ci 性 到 Ce 


图 9-2 1E6.0 的 主要 配置 界面 
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例如 Cookie 设置 就 会 影响 含有 Cookie 的 Web 应 用 的 功能 能 否 成 功 地 实现 。 其 他 如 
脚本 设置 、 安 全 设置 、 显 示 设 置 等 大 多 数 设 置 都 会 影响 到 Web 应 用 功能 的 实现 。 

。 客户 端的 显示 设置 。 

大 多 数 人 都 喜欢 使 用 1024 X768 像素 的 显示 设置 , 但 并 不 是 所 有 的 Web 应 用 都 支持 
这 种 设置 。 不 合适 的 显示 设置 不 但 会 使 Web 应 用 系统 的 界面 显示 异常 ， 还 可 能 导致 应 用 
功能 无 法 实现 。 

se 内 容 测 试 。 

由 于 Web 应 用 带 有 一 定 的 开放 性 ， 尤 其 是 发 布 于 互联 网 上 的 网 站 ， 其 内 容 是 完全 开 
放 的 ， 因 此 在 Web 系统 的 功能 测试 中 还 要 重点 测试 一 个 方面 ， 即 内 容 测 试 。 

内 容 测 试用 来 检验 Web 应 用 系统 提供 信息 的 正确 性 、 准确 性 和 相关 性 。 信息 的 正确 
性 是 指 信息 是 可 和 分 的 还 是 误 传 的 。 例 如 ， 在 商品 价格 列表 中 ， 错 误 的 价格 可 能 引起 财政 
问题 ， 甚 至 导致 法 律 纠纷 ， 信 息 的 准确 性 是 指 是 否 有 语法 或 拼写 错误 。 这 种 测试 通常 使 
用 一 些 文字 处 理 软件 来 进行 ， 例 如 使 用 Microsoft Word 的 “拼音 与 语法 检查 ”功能 ; 信 
乱 的 相关 性 是 指 ， 是 否 在 当前 页 面 可 以 找到 与 当前 浏览 信息 相关 的 信息 列表 或 入 口 ， 也 
就 是 一 般 Web 站 点 中 所 谓 的 “相关 文章 列表 ”。 

下 面 介 绍 两 种 Web 应 用 功能 测试 的 自动 化 技术 ， 一 个 是 Web 应 用 链接 质量 保证 技 
术 ， 另 一 个 是 Web 应 用 功能 测试 技术 ， 下 面 分 别论 述 。 

1. Web 应 用 链接 质量 保证 技术 

链接 是 使 用 户 从 一 个 页 面 浏 览 到 另 一 个 页 面 的 重要 手段 ， 链 接 的 质量 决定 着 功能 是 
否 能 够 成 功 实现 。 

要 保证 每 个 链接 的 质量 ， 需 要 做 好 三 件 事情 : 

QD 该 链接 将 用 户 带 到 它 所 说 明 的 地 方 ; 

@ 被 链接 页 面 是 存在 的 ; 

图 保证 Web 应 用 系统 上 没有 孤立 的 页 面 , 所 谓 孤 立 页 面 是 指 没 有 链接 指向 该 页 面 。 

链接 测试 非常 复杂 。 比 如 当 网 页 的 结构 非常 复杂 且 数 量 巨大 时 ， 链 接 检查 的 速度 就 
迫切 需要 提高 。 当 网 络 连接 总 是 不 稳定 的 时 候 ， 误 判 的 频率 增 大 导致 工作 量 加 大 ， 就 赴 
要 保证 工作 进度 。 还 有 ， 测 试 的 结果 能 否 清晰 地 报告 出 来 等 ， 这 些 和 需求 都 提高 了 测试 的 
复杂 度 。 

要 测试 Web 应 用 的 链接 ， 可 以 借助 于 自动 化 的 Web 应 用 链接 测试 工具 ， 例 如 
WebCheck、Linkbot、TestPartner 等 。 这 些 测 试 工具 在 测试 过 程 中 自动 扫描 Web 应 用 的 
所 有 和 链接， 定位 及 报告 问题 。 针 对 应 用 中 存在 的 各 种 各 样 的 链接 ， 比 如 图 片 、 框 染 
(Frame)、 插 件 (Plugin)、 背 景 、 样 式 表 〈Style Sheet)、 脚 本 、Java Applet 等 以 及 支持 
的 连接 种 类 ， 比 如 HTTP、FTP、GOPHER、HTTPS 等 工具 都 能 够 支持 。 另 外 ， 对 本 地 
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的 链接 和 重 定向 的 链接 也 能 很 好 地 支持 。 例 如 WebCheck 能 够 定位 约 50 个 的 问题 类 型 ， 
并 且 提 供 19 个 HTML 格式 的 报告 。 

利用 自动 化 测试 工具 测试 Web 应 用 的 链接 ， 主 要 优势 体现 在 以 下 几 个 方面 。 
简单 易 用 ; 
在 实现 上 采用 多 线程 技术 ， 因 此 检查 速度 特别 快 ， 
对 断 开 的 连接 可 以 再 次 检查 ， 避 免 误 判 ; 
没有 检查 连接 的 数量 限制 ， 只 受 系统 资源 的 约束 ; 
可 以 分 析 Web 应 用 的 结构 ; 
检查 结果 可 以 分 类 查看 ， 自 动 生成 HTML 格式 的 报告 。 

Web 应 用 链接 主要 测试 点 如 下 。 

。 测试 内 部 和 外 部 链接 中 成 功 和 失败 的 链接 点 ， 以 及 应 用 中 不 被 其 他 链接 调用 的 

页 面 ; 
。 ”测试 链接 中 新 网 页 、 老 网 页 、 慢 网 页 以 及 丢失 的 图 象 标题 标签 和 属性 标签 等 ; 
。 分 析 Web 应 用 的 结构 是 否 合理 ， 包 括 显 示 和 某 个 URL 相关 的 链接 及 按照 标题 、 
描述 、 作 者 、 大 小 、 最 后 修改 时 间 、 类 型 为 URL 链接 分 类 等 。 

2，Web 应 用 功能 测试 技术 

如 果 开 发 人 员 刚 创立 一 个 新 的 Web 应 用 系统 。 在 发 布 应 用 系统 之 前 , 它 必须 经 过 测 
试 以 确保 一 切 设 定 功能 都 能 正常 运行 ， 这 样 的 测试 任务 中 ， 针 对 同一 模块 或 者 同一 功能 
点 的 测试 可 能 需要 重复 多 次 。 另 外 ， 在 一 个 公司 中 不 同 项 目的 测试 可 能 并 行 展 开 ， 例 如 
人 事 部 门 的 HR 系统 、 客 服部 门 的 CRM 系统 、 物 流 部 门 的 ERP 系统 等 。 这 样 的 现状 就 
会 使 测试 人 员 面 临 这 样 一 个 问题 ， 即 “如 何 有 效 地 测试 不 断 修 改 着 的 一 个 或 多 个 应 用 程 
序 ”。 如 果 资 源 有 限 的 话 ， 这 个 问题 就 更 加 束 手 。 人 工 测 试 的 工作 量 太 大 , 况且 很 多 公司 
负担 不 起 额外 的 时 间 来 培训 新 的 测试 人 员 。 为 了 解决 这 个 问题 ， 就 需要 一 个 能 简单 操作 
的 测试 工具 来 自动 完成 功能 性 测试 。 

Mercury Interactive 的 WinRunner 就 是 一 个 功能 性 测试 工具 。 它 通过 捕获 和 重 放 用 户 
对 Web 应 用 程序 的 操作 ，WinRunner 可 自动 执行 功能 性 测试 。 下 面 我 们 来 看 一 个 标准 的 
测试 过 程 ， 主 要 步骤 包括 : 创建 测试 脚本 、 插 入 检查 点 、 运 行 测试 以 及 分 析 结 果 。 

。 创建 测试 脚本 。 

创建 测试 脚本 只 需 记 录 下 一 个 标准 的 业务 流程 ， 如 下 一 张 订 单 或 建立 一 个 新 的 商家 
账户 。 测 试 人 员 在 GUI 上 点 击 鼠 标 ， 测 试 工 具 记 录 流 程 就 可 建立 测试 脚本 ， 即 使 技术 知 
识 有 限 的 用 户 也 能 生成 完整 的 测试 。 脚 本 可 以 直接 编辑 来 满足 各 种 复杂 测试 的 需求 。 例 
如 ，WinRunner 可 以 将 两 种 测试 脚本 创建 方式 结合 在 一 个 环境 下 ， 来 适应 测试 需求 。 这 
两 种 测试 脚本 创建 方式 分 别 是 模拟 控件 操作 和 模拟 鼠标 操作 。 
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e 插入 检查 点 。 

在 记录 一 个 测试 的 过 程 的 脚本 中 ， 测 试 工 程 师 可 插入 检查 点 ， 测 试 工具 会 收集 检查 
点 的 性 能 指标 。 脚 本 运行 时 ， 测 试 工具 在 查寻 潜在 错误 的 同时 ， 会 比较 检查 点 所 设 定 的 
结果 和 实际 测试 结果 ， 对 其 一 一 验证 。 例 如 ，WinRunner 允许 您 使 用 几 种 不 同类 型 的 检 
合 抬 ， 包 插 文本 、GUI、 位 图 和 数据 库 。 用 一 个 位 图 检查 点 ， 可 以 确认 一 个 位 图 图 像 ， 
如 公司 的 图 标 是 否 出 现在 指定 位 置 。 

。 运行 测试 。 

建立 起 测试 脚本 ， 并 插入 检查 点 和 做 一 些 必 要 修改 后 ， 就 可 以 开始 运行 测试 。 当 测 
试 工具 执行 测试 时 ， 它 会 自动 操作 应 用 程序 ， 正 如 一 个 真实 用 户 根据 记录 流程 执行 着 每 
一 步 的 操作 。 

。 分 析 结 果 。 

一 旦 测试 结束 后 ,就 需要 分 析 测 试 结果 。 测试 工具 一 般 会 提供 话 尽 的 、 易 读 的 报告 ， 
这 些 报告 对 在 测试 运行 中 发 生 的 重要 事件 进行 描述 ， 如 出 错 内 容 和 检查 点 等 。 

. 一 次 测试 结束 后 ， 随 着 时 间 推 移 ， 开 发 人 员 会 对 应 用 程序 做 进一步 的 修改 ， 并 渍 要 
另 加 额外 的 测试 。 有 了 前 面 利 用 自动 化 测试 工具 进行 测试 的 基础 ， 不 必 改 动 测试 脚本 ， 
就 可 以 重新 建 一 个 新 的 测试 ， 这 样 大 大 地 节省 了 时 间 和 资源 ， 充 分 利用 了 测试 投资 。 

功能 自动 化 测试 工具 还 能 验证 数据 库 的 数值 ， 从 而 确保 交易 的 准确 性 。 例 如 ， 在 创 
建 测试 脚本 时 ， 可 以 设 定 哪些 数据 库 表格 和 记录 资料 需要 检测 。 在 重 放 时 ， 测 试 程序 就 
会 核对 数据 库 内 的 实际 数值 与 脚本 中 设 定 的 数值 ， 在 有 更 新 /修改 , 删除 或 插入 的 记录 上 
会 使 用 突出 标识 以 引起 注意 。 

有 时 为 了 彻底 全 面 地 测试 一 个 应 用 程序 ， 需 要 了 解 对 于 不 同类 型 的 数据 ， 它 是 如 何 
运行 的 。 测 试 工具 可 以 将 一 个 记录 下 的 业务 流程 转化 为 一 个 数据 驱动 的 测试 ， 来 反映 多 
个 用 户 各 自 独特 且 真实 的 操作 行为 。 以 一 个 订单 输入 的 流程 为 例 ， 测 试 人 员 或 许 希 望 将 
一 些 锁 定 的 项 目 栏 ， 如 定单 号 或 客户 名 转化 为 可 变 栏 ， 这 样 就 可 以 用 多 套数 值 来 检测 应 
用 程序 了 。 数 据 来 源 可 以 采用 自动 生成 表格 ， 也 可 直接 从 其 他 的 表格 或 数据 库 中 导入 。 
数据 驱动 性 测试 不 仅 节省 了 时 间 和 资源 ， 而 且 提高 了 应 用 程序 的 测试 辑 盖 率 。 
利用 自动 化 测试 工具 在 对 脚本 进行 编辑 的 时 候 ， 可 以 从 列表 里 选择 一 个 功能 函数 加 
到 脚本 中 ， 以 提高 测试 能 力 。 例 如 ， 点 击 “calendar”， 然 后 从 年 历 功能 中 的 下 属 目录 中 
选择 ， 如 “calendar_select_date()”， 工 具 会 提供 函数 的 解释 。 选 定 了 这 个 函数 后 ， 可 以 输 
入 参数 ， 再 将 这 个 函数 插入 到 测试 脚本 中 。 


9.4.3 ” 易 用 性 测试 
使 用 Web 浏览 器 作为 客户 端的 一 个 原因 就 是 它 易于 使 用 。 用户 知 道 如 何 浏览 一 个 构 
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建 良好 的 网 站 。 如 果 你 注重 这 方面 的 测试 ， 那 么 验证 应 用 程序 是 否 易于 使 用 就 非常 重 
要 了 。 

要 评估 一 个 Web 系统 是 否 易 用 ， 首 先 要 分 析 最 终 用 户 的 情况 。 用 户 的 情况 决定 了 
Web 系统 在 易 用 性 方面 千 要 花费 多 少时 间 ， 以 及 易 用 设计 的 方 同 。 从 用 户 角 度 讲 ， 我 们 
主要 考虑 以 下 几 个 方面 的 情况 。 

。 用 户 的 计算 机 使 用 经 验 ; 

。 用 户 对 浏览 器 以 及 Web 的 使 用 经 验 ; 

。 用 户 的 业务 专业 知识 。 

确定 了 最 终 用 户 使 用 的 基础 情况 , 我 们 就 可 以 有 针对 性 地 测试 一 个 Web 系统 的 易 用 
性 了 。 我 们 把 Web 系统 的 易 用 性 测试 分 为 三 个 方面 进行 测试 : 

。 界面 测试 

e。 辅助 功能 测试 ; 

。 图 形 测 试 。 

下 面 我 们 将 对 此 进行 详细 的 叙述 。 

1. 界面 测试 

有 人 说 ， 除 了 一 定 的 技术 外 ，Web 系统 的 好 与 坏 取 决 于 其 页 面 的 设计 艺术 水 平 。 这 
个 话 虽 有 失 偏 颇 ， 但 也 从 另外 一 个 角度 说 明了 Web 系统 的 界面 的 重要 性 。 由 于 Web 系 
统 的 客户 端 均 采 用 浏览 器 ， 不 同 用 户 可 能 会 在 浏览 器 里 设置 不 同 的 显示 方式 ， 因 此 ， 我 
们 在 作 界 面 测试 的 时 候 尽量 使 用 默认 的 设置 。 

在 开始 进行 界面 测试 以 前 ， 我 们 需要 重点 调研 两 个 问题 : 

。 Web 应 用 系统 的 最 终 用 户 群 是 谁 

。 Web 应 用 界面 《大 多 数 等 同 于 网 页 ) 的 设计 策略 是 什么 。 

这 两 个 问题 决定 了 我 们 评价 一 个 Web 应 用 系统 界面 采用 什么 样 的 标准 。 尽管 不 同 的 
Web 应 用 系统 的 界面 千变万化 ， 但 其 测试 方法 和 评价 准则 仍 有 一 些 共同 的 内 容 。 以 下 是 
界面 测试 中 需要 重点 关注 的 。 

。 页 面 中 各 元 素 布 局 的 协调 性 。 

一 个 复杂 的 页 面 会 包含 多 种 元 素 ， 如 文字 、 表 单 、 图 片 、 动 画 、 表 格 、 视 频 等 ， 从 
美学 的 角度 来 看 ， 如 果 只 是 把 所 有 的 Web 应 用 功能 简单 地 堆砌 到 页 面 上 ,其 易 用 性 是 很 
差 的 。 需 要 评估 的 协调 性 包括 以 下 几 个 方面 : 

QD 各 元 素 位 置 的 协调 性 ; 

包 各 元 素颜 色 的 协调 性 ; 

@ 各 元 素 大 小 比例 的 协调 性 。 

。 ”不同 页 面 风格 的 统一 性 。 
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一 个 统一 的 Web 系统 的 不 同 页 面 应 该 从 颜色 .框架 ,操作 方式 等 多 个 方面 统一 起 来 。 
由 于 Web 日 益 流 行 , 很 多 人 把 它 看 作 图 形 设 计 人 作品。 人们 为 了 体现 出 网 页 设计 的 丰 窗 多 
彩 ， 在 不 同 页 面 使 用 很 多 不 同 风 格 的 图 片 、 特 效 ， 初 看 觉得 网 页 非常 艳丽 多 彩 ， 但 忽略 
了 不 同 网 页 的 协调 统一 。 

。 用户 在 界面 中 操作 的 便利 性 。 

网 页 设计 中 用 得 最 多 的 是 表格 ， 而 用 户 操作 最 容易 导致 界面 缺陷 的 也 就 是 表格 ， 因 
此 要 对 表格 进行 操作 验证 。 例 如 ， 和 需要 验证 表格 是 和 否 设 置 正 确 、 用 户 是 否 需 要 向 右 滚动 
页 面 才能 看 见 表 格 中 的 内 容 ， 每 一 栏 的 宽度 是 否 足够 宽 ， 表 格 里 的 文字 是 否 都 有 折 行 ; 
是 否 有 因为 某 一 格 的 内 容 太 多 ， 而 将 整 行 的 内 容 拉 长 等 。 

e。 界面 动态 操作 测试 。 

主要 测试 以 下 几 个 方面 : 

屏 帮 分辨 率 设置 的 影响 ; 

@ 浏览 窗口 最 大 化 /最 小 化 的 影响 ; 

外 选 定 目标 元 素 的 置 中 与 缩放 。 

2. 辅助 功能 测试 

辅助 功能 指 为 了 方便 用 户 更 快 更 容易 地 使 用 网 站 而 采用 的 一 些 设置 ， 主 要 包括 使 用 
说 明 、 导 航 、 站 点 地 图 、 帮 助 等 。 

Q@ 使 用 说 明 。 应 该 确认 站 点 有 使 用 说 明 。 即使 网 站 很 简单 ， 也 可 能 有 人 在 某 些 方 
面 需 要 证 实 一 下 。 测 试 人 员 需 要 测试 说 明文 档 ， 验 证 说 明 是 正确 的 。 还 可 以 根据 说 明 进 
行 操 作 ， 确 认 出 现 预 期 的 结果 。 

@ 导航 。 导 航 描述 了 用 户 在 一 个 页 面 内 操作 的 方式 ， 在 不 同 的 用 户 接口 控制 之 间 ， 
例如 按钮 、 对 话 框 、 列 表 和 窗口 等 ; 或 在 不 同 的 连接 页 面 之 间 。 通 过 考虑 下 列 问 题 ， 可 
以 决定 一 个 Web 应 用 系统 是 否 易于 导航 : 导航 是 否 直观 ，Web 系统 的 主要 部 分 是 否 可 通 
过 主页 存 取 。 

在 一 个 页 面 上 放 太 多 的 信息 往往 起 到 与 预期 相反 的 效果 。Web 应 用 系统 的 用 户 趋向 
于 目的 驱动 , 很 快 地 扫描 一 个 Web 应 用 系统 , 看 是 否 有 满足 自己 需要 的 信息 , 如 果 没 有 ， 
就 会 很 快 地 离开 。 很 少 有 用 户 愿 意 花 时 间 去 熟悉 Web 应 用 系统 的 结构 ， 因 此 ，Web 应 用 
系统 导航 帮助 要 尽 可 能 地 准确 。 

导航 的 另 一 个 重要 方面 是 Web 应 用 系统 的 页 面 结构 、 导 航 、 菜 单 、 连 接 的 风格 是 否 
一 致 。 确 保 用 户 赁 直觉 就 知道 Web 应 用 系统 里 面 是 否 还 有 内 容 ， 内 容 在 什么 地 方 。 

@ 站 点 地 图 。 确 认 你 测试 的 站 点 是 否 有 地 图 。 有 些 网 络 高 手 可 以 直接 去 自己 要 去 
的 地 方 ， 而 不 必 点 击 一 大 堆 页 面 。 男 外 ， 新 用 户 在 网 站 中 可 能 会 迷失 方向 。 站 点 地 图 可 
以 引导 用 户 进行 浏览 。 需 要 验证 站 点 地 图 是 否 正确 ， 确 认 地 图 上 的 链接 是 否 确实 存 ， 地 
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图 有 没有 包括 站 点 上 的 所 有 链接 。 

@ 帮助 。 帮 助 在 软件 的 易 用 性 中 占 很 重要 的 位 置 ， 在 Web 系统 中 也 不 例外 。Web 
系统 中 的 帮助 可 以 分 为 联机 帮助 、 参考 式 帮 助 、 教 程式 帮助 等 ， 可 分 别针 对 其 主题 进行 
测试 。 

3. 图 形 测试 

我 们 这 里 谈 到 的 图 形 ， 泛 指 页 面 中 所 有 的 图 片 以 及 彩色 元 素 。 在 Web 应 用 系统 中 ， 
图 形 占 有 相当 重要 的 位 置 ， 因 为 Web 系统 应 用 范围 的 特殊 性 ， 图形 直接 影响 了 用 户 浏览 
和 使 用 Web 系统 的 操作 。 

适当 的 图 片 和 动画 既 能 起 到 广告 宣传 的 作用 又 能 起 到 美化 页 面 的 功能 。 和 谐 的 颜 
色 搭 配 既 能 体现 出 Web 应 用 系统 的 主题 ， 也 能 反映 出 业主 企业 的 形象 。 一 个 Web 应 用 
系统 的 图 形 可 以 包括 图 片 、 动 画 、 边 框 、 颜 色 、 字 体 、 背 景 、 技 钮 ， 我 们 在 进行 图 形 测 
试 时 重点 进行 以 下 测试 。 

。 验证 所 有 的 图 形 是 否 有 明确 的 用 途 。 特 别 是 图 片 或 动画 ， 有 无 堆砌 的 现象 ， 因 

为 过 于 集中 的 图 片 ， 既 浪费 传输 时 间 ， 又 影响 视觉 效果 。 

。 验证 所 有 页 面 字体 的 颜色 、 风格 是 否 一 致 字体 的 颜色 应 与 页 面 的 主 色调 是 否 

协调 。 

。 背景 颜色 与 字体 颜色 和 前 景 颜 色 是 否 相 搭配 。 

。 确认 图 片 的 大 小 和 质量 。 这 也 是 一 个 很 重要 的 因素 ， 图 片 是 否 采用 JPG 或 GIF 

压缩 ， 图 片 尺寸 是 否 合适 ， 分 辩 率 是 否 满足 需求 等 都 需要 进行 评价 。 


9.4.4 ”人 负载 压力 测试 


性 能 是 用 户 经 常会 过 到 的 一 个 棘手 的 问题 , 也 可 能 是 Web 系统 在 投入 实际 使 用 以 前 
最 为 关心 的 问题 。 

Web 系统 的 性 能 包含 哪些 方面 呢 ? 

。 客户 端 向 服务 器 发 出 一 个 请 求 。 

。 服务 器 分 配 请 求 并 进行 处 理 。 

。 服务 器 把 处 理 的 结果 反馈 给 客户 端 。 

。 客户 端 对 结果 进行 分 析 ， 显 示 出 来 或 进一步 执行 。 

从 这 个 过 程 可 以 看 出 ， 由 于 客户 端 是 一 个 单独 的 个 体 ， 几 乎 不 会 出 现 性 能 问题 ， 而 
服务 器 为 了 响应 多 个 客户 端的 请 求 ， 有 可 能 出 现 响应 错误 、 响 应 缓慢 、 数 据 丢 失 等 错误 。 

用 户 连 接 到 Web 应 用 系统 的 速度 根据 上 网 方式 的 变化 而 变化 ， 他 们 或 是 电话 拨号 ， 
或 是 宽带 上 网 。 当 下 载 一 个 程序 时 ， 用 户 可 以 等 较 长 的 时 间 ， 但 如 果 仅 仅 访问 一 个 页 面 
就 不 会 这 样 。 如 果 Web 系统 响应 时 间 太 长 ， 用 户 就 会 因 没 有 耐心 等 待 而 离开 。 另 外 ， 有 
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尝 页 面 有 超时 的 限制 ， 如 果 响 应 速度 太 慢 ， 用 户 可 能 还 没 来 得 及 浏览 内 容 ， 就 需要 重新 
登录 了 。 而 且 ， 连 接 速度 太 慢 ， 还 可 能 引起 数据 丢失 ， 使 用 户 得 不 到 真实 的 页 面 。 
负载 测试 是 为 了 测量 Web 系统 在 某 一 负载 级 别 上 的 性 能 ， 以 保证 Web 系统 在 需求 
范围 内 能 正常 工作 。 负 载 级 别 可 以 是 某 个 时 刻 同时 访问 Web 系统 的 用 户 数 量 ， 也 可 以 是 
在 线 处 理 的 数据 量 。 例 如 ，Web 应 用 系统 能 允许 多 少 个 用 户 同 时 在 线 ， 如 果 超 过 了 这 个 
数量 ， 会 出 现 什么 现象 ，Web 应 用 系统 能 否 处 理 大 重用 户 对 同一 个 页 面 的 请 求 。 负 载 测 
试 应 该 安排 在 Web 系统 发 布 以 后 ， 在 实际 的 网 络 环境 中 进行 测试 。 
进行 压力 测试 是 指 实际 破坏 一 个 Web 应 用 系统 ,测试 系统 的 反映 。 压 力 测试 是 测试 
系统 的 限制 和 故障 恢复 能 力 ， 也 就 是 测试 Web 应 用 系统 会 不 会 骨 沉 ， 在 什么 情况 下 会 
月 澳 。 
一 般 压 力 测试 包含 如 下 步骤 : 
。 确定 交易 执行 响应 时 间 。 
。 估计 Web 系统 能 够 承受 的 地 大 并 发 用 户 数 重 。 
。 模拟 用 户 请 求 ， 以 一 个 比较 小 的 负载 开始 ， 逐 渐 增 加 模拟 用 户 的 数量 ， 直 到 系 
统 不 能 承 妥 负载 为 止 。 
。 ”如果 负载 没有 达到 征求 ， 那 么 应 该 优化 这 个 Web 程序 。 


9.4.5 ”客户 端 配 置 与 兼容 性 测试 


1， 了 配置 测试 与 兼容 性 测试 概述 

要 实现 完全 的 配置 测试 和 兼容 性 测试 是 不 可 能 的 ， 而 且 从 测试 成 本 的 角度 来 看 也 是 
不 可 取 的 。 本 项 测试 目的 , 是 发 现 Web 系统 在 可 能 的 用 户 环境 下 运行 程序 时 出 现 的 错误 ， 
对 什么 样 的 用 户 环境 进行 配置 测试 与 兼容 性 测试 ， 是 需要 我 们 进行 分 析 与 调查 的 。 由 于 
Web 系统 采用 浏览 器 /服务 器 的 模式 ， 我 们 把 配置 测试 与 兼容 性 测试 的 着 重点 放 在 客户 
端 。 而 客户 端 最 重要 的 两 个 因素 就 是 浏览 器 与 操作 系统 ， 所 以 面向 用 户 的 配置 测试 与 兼 
容 性 测试 可 分 为 以 下 三 个 方面 ; 

@ 浏览 器 的 配置 测试 

平台 兼容 性 测试 ; 

@ 浏览 器 兼容 性 测试 。 

2. 浏览 器 的 配置 测试 

前 面 提 到 ， 浏 览 器 中 有 许多 会 影响 Web 功能 的 设置 ， 例 如 缓存 设置 、cookies 设置 、 
显示 设置 、 安 全 设置 等 ,在 完成 了 功能 测试 后 , 我 要 需要 对 选用 的 浏览 器 进行 配置 测试 ， 
也 就 是 测试 不 同 配置 对 Web 功能 的 影响 程度 , 再 核查 有 影响 的 配置 在 功能 说 明 书 中 是 否 
有 明确 提示 。 
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3. 平台 兼容 性 测试 

市 场 上 有 很 多 不 同 的 操作 系统 类 型 , 最 常见 的 有 Windows、UNIX、 Macintosh、 Linux 
等 。Web 应 用 系统 的 最 终 用 户 究竟 使 用 哪 一 种 操作 系统 ,取决 于 用 户 系统 的 配置 。 这 样 ， 
就 可 能 会 发 生 兼 容 性 问题 ， 人 
的 操作 系统 下 可 能 会 运行 失败 。 

因此 ， 在 Web 系统 发 布 之 前 ， 需要 在 用 户 可 能 用 到 的 操作 系统 下 ， 对 Web 系统 进 
行 兼 容 性 测试 。 

4. 浏览 器 兼容 性 测试 

浏览 器 是 Web 客户 端 最 核心 的 构件 ， 来 自 不 同 三 商 的 浏览 器 对 Java、Javascript、 
ActiveX、Plug-ins 或 不 同 的 HTML 规格 有 不 同 的 支持 。 例 如 ，ActiveX 是 Microsoft 的 产 
品 ， 是 为 Intemet Explorer 而 设计 的 ，Javascript 是 Netscape 的 产品 ，Java 是 Sun 的 产品 
等 。 另 外 ， 和 
不 同 的 浏览 器 对 安全 性 和 Java 的 设置 也 不 一 样 。 

测试 浏览 器 的 兼容 性 可 以 与 操作 系统 的 兼容 性 结合 起 来 ， 最 有 效 的 方法 是 创建 一 个 
兼容 性 和 矩阵， 如 表 9-2 所 示 。 在 这 个 矩阵 中 ， 测 试 不 同 版 本 操作 系统 上 的 不 同 厂 商 、 不 
同 版 本 的 浏览 器 对 某 些 构件 和 设置 的 适应 性 。 


家 9-2 兼容 性 测试 矩 阵 


| | 
操作 系统 

Windows 98 EE | 
Windows 2000 Pro ER | | 
Windows XP Pro 9 
Windows 2000 Ser | | 


9.4.6 ”安全 性 测试 


测试 应 用 程序 的 体系 结构 和 设计 可 以 消除 很 多 与 设计 有 关 的 漏洞 ， 从 而 提高 应 用 程 
序 的 整体 安全 性 。 设 计时 修复 漏洞 要 比 在 开发 后 期 解决 问题 更 为 简单 ,也 更 经 济 ， 因 为 
开发 后 期 可 能 要 进行 大 量 的 重新 工程 处 理 。 开 发 时 如 果 考 虑 一 些 与 目标 部 署 环境 相关 的 
设计 以 及 该 环境 定义 的 安全 策略 ， 可 确保 应 用 程序 的 部 看 更 加 平稳 和 安全 。 如 果 应 用 程 
序 已 创建 完毕 ， 安 全 测试 可 修复 漏洞 并 完善 未 来 的 设计 。 

一 个 完整 的 Web 安全 体系 测试 可 以 从 部 署 与 基础 结构 、 输入 验证 、 身份 验证 、 授权 、 
配置 管理 、 敏 感 数 据 、 会 话 管理 、 加 密 、 参 数 操作 、 异 常 管理 、 审 核 和 日 志 记 录 等 几 个 
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方面 入 手 。 

1。 安 全 体系 测试 

(1) 部 署 与 基础 结构 

检验 底层 网 络 和 主机 基础 结构 提供 给 应 用 程序 的 安全 设置 ， 然 后 检验 运行 环境 要 求 
的 所 有 限制 。 此 外 ， 考 虑 部 署 的 拓扑 结构 以 及 中 间 层 应 用 程序 服务 器 、 外 围 区 域 以 及 内 
部 防火 墙 对 设计 的 影响 。 检 验 下 列 问 题 ， 确 定 可 能 存在 的 部 署 和 基础 结构 问题 。 

。 网 络 是 否 提供 了 安全 的 通信 。 
数据 在 客户 端 与 服务 器 (或 服务 器 与 服务 器 ) 之 间 传 输 时 报 易 受到 攻击 。 网 络 负责 

数据 传输 的 完整 性 和 私密 性 。 如 果 必 须 保证 数据 安全 ， 可 使 用 适当 的 加 密 算 法 。 此 外 ， 
还 必须 确保 网 络 设 备 安全 。 因 为 这 是 维护 网 络 完整 性 所 必需 的 。 

e 部 署 拓扑 结构 是 否 包括 内 部 防火 增 。 

如 果 内 部 防火 墙 将 Web 服务 器 与 应 用 程序 服务 器 (或 数据 库 服 务 器 ) 分 隅 开 来 ， 则 
币 要 考虑 下 列 问 题 ， 确 保 设 计 能 适应 这 种 配置 。 

@ 下 游 服 务 器 如 何 验证 Web 服务 器 的 身份 ; 

包 如 果 使 用 域 账户 和 Windows 身份 验证 ， 全 休 用 了 要 和 的 省 有 

@) 是 否 使 用 分 布 式 事务 ; 

@ 如 果 Web 服务 器 使 用 DTC (Microsoft Distributed Transaction Coordinator) 的 服 
务 来 启动 分 布 式 事务 ， 内 部 防火 墙 是 否 为 DTC 通信 打开 了 必要 的 端口 。 

。 部 署 拓扑 结构 中 是 否 包括 远程 应 用 程序 服务 器 。 

如 果 部 署 拓扑 结构 包括 了 一 个 物理 远程 中 间 层 ， 则 需要 考虑 下 列 问 题 。 

Q 是 否 使 用 企业 服务 。 如 果 是 ， 是 否 已 限制 了 DCOM 端口 范围 ， 内 部 防火 墙 是 否 
打开 了 这 些 端 口 。 

@@ 是 否 使 用 NET 远程 处 理 。 

@ 远程 处 理 用 在 受信 服务 器 方案 中 ， 网 络 是 否 支 持 IPSec 策略 。 

由 ASPNET 承载 远程 组 件 是 否 支 持 身份 验证 和 授权 。 

图 是 否 使 用 Web 服务 ， 如 果 是 ， 中 间 层 Web 服务 如 何 验证 Web 应 用 程序 的 身份 。 
Web 应 用 程序 是 否 通 过 在 Web 服务 代理 中 配置 凭据 来 使 Web 服务 验证 Web 服务 器 的 身 
份 ， 如 果 否 ，Web 服务 如 何 明确 调用 者 。 

e 基础 结构 安全 性 要 求 的 限制 是 什么 。 

设计 是 否 假定 主机 基础 结构 安全 限制 要 失效 。 例 如 ， 安 全 限制 可 能 要 求 根据 所 和 需 的 
服务 、 协 议 或 账户 特权 来 对 设计 进行 权衡 。 逢 要 考虑 下 列 问 题 。 

Q 是 否 依赖 可 能 不 可 用 的 服务 或 协议 。 开 发 和 测试 环境 中 可 用 的 服务 和 协议 可 能 
在 生产 环境 中 不 可 用 。 
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@ 是 否 依赖 敏感 的 账户 特权 。 设 计 应 尽量 使 用 特权 最 少 的 进程 、 服 务 和 用 户 账户 。 

@ 要 执行 的 操作 是 否 要 求 可 能 不 被 许可 的 敏感 特权 。 例 如 ， 应 用 程序 是 否 要 创建 
线程 级 模拟 令 牌 来 创建 资源 访问 的 服务 身份 。 这 项 操作 要 求 “ 作 为 操作 系统 的 一 部 分 ” 
特权 ， 而 该 特权 不 应 授予 Web 服务 器 进程 (因为 可 能 增加 进程 被 利用 的 风险 )。 如 果 需 
要 此 功能 ， 和 

e。 ”目标 环境 支持 怎样 的 信任 级 别 。 

运行 环境 的 代码 访问 安全 信任 级 别 决 定 了 代码 可 访问 的 资源 ， 以 及 它 能 执行 的 特权 
操作 。 请 检查 运行 环境 支持 的 信任 级 别 。 如 果 允 许 Web 应 用 程序 以 完全 信任 级 别 运行 ， 
代码 将 能 够 访问 操作 系统 安全 性 许可 的 任何 资源 。 

如 果 Web 应 用 程序 必须 以 受 限 信任 级 别 运 行 , 则 代码 能 访问 的 资源 类 型 以 及 能 执行 
的 特权 操作 都 将 受到 一 定 的 限制 。 在 部 分 信任 案例 中 ， 设 计 应 对 特权 代码 进行 沙 盒 
(sandboxing) 处 理 。 此 外 ， 还 应 使 用 不 同 的 程序 集 来 分 隔 特权 代码 。 这 样 ， 可 以 对 特权 
代码 和 应 用 程序 的 其 余部 分 单独 配置 特权 代码 ， 然 后 授予 必要 的 附加 代码 访问 权限 。 

注意 ， 如 果 应 用 程序 部 署 在 共享 服务 器 (或 应 用 程序 将 由 宿主 公司 运行 )， 信 任 级 
别 通常 是 个 问题 。 此 时 ， 需 要 检查 安全 策略 ， 然 后 确定 Web 应 用 程序 的 信任 级 别 。 

(2) 输入 验证 

需要 对 应 用 程序 验证 输入 内 容 的 方式 进行 检验 ， 因 为 很 多 Web 应 用 程序 攻击 都 故 
意 使 用 格式 错误 的 输入 。SQL 注入 、 路 站 点 脚本 (XSS)、 缓 冲 区 溢出 、 代 码 注入 以 及 无 
数 其 他 拒绝 服务 和 特权 提升 攻击 都 可 利用 输入 验证 中 的 漏洞 。 表 9-3 中 重点 列 出 了 常见 
的 输入 验证 漏洞 。 


农 9-3 常见 的 输入 验证 湄 洞 


注油 影 ”网 

超 文 本 标记 语 育 (HTML) 输出 流 中 有 未 

0 应 用 程序 易 受 XSS 攻击 

用 于 生成 SQL 查询 的 输入 未 经 验证 ”| 应 用 程序 遇 受 SQL 注入 攻击 

依 襄 客 户 端的 验证 客户 端 验 证 很 容易 被 特 略 

ed URL 或 用 户 名 制定 安 | 让 用 程序 易 出 现 规范 化 错误 并 导致 安全 漏洞 
人 这 基本 上 不 可 能 达到 目的 ， 原 因 是 可 能 的 恶意 攻击 范 团 


太 大 。 应 用 程序 应 对 输入 进行 约束 、 拒 绝 和 净化 


测试 时 应 考虑 下 列 问 题 ， 以 帮助 发 现 潜在 的 输入 验证 安全 问题 。 
e。 如 何 验证 输入 。 
设计 指定 的 输入 验证 方法 是 什么 ? 首先 ， 设 计 必须 展示 策略 。 应 用 程序 应 对 收 到 的 
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所 有 输入 进行 约束 、 拒 绝 和 净化 。 约 束 输入 是 最 佳 的 方法 ， 因 为 针对 已 知 有 效 类 型 、 模 
式 和 范围 对 数据 进行 验证 ， 要 比 通过 查找 已 知 坏 字 符 来 验证 数据 简单 得 多 。 

测试 时 应 考虑 下 列 问 题 ， 帮 助 识别 潜在 的 漏洞 。 

Q( 是 否 消 楚 入 口 点 。 

确保 设计 标 出 了 应 用 程序 的 入 口 点 ， 以 便 跟 踪 各 个 输入 字段 的 操作 。 可 考虑 Web 页 
输入 、 输 入 到 组 件 和 Web 服务 ， 以 及 从 数据 库 输 入 。 

@ 是 否 清楚 信任 边界 。 

如 果 输 入 是 从 信任 边界 内 受信 源 传 递 的 ， 并 非 总 要 验证 输入 ; 但 如 果 输 入 是 从 不 受 
信任 的 源 传 递 的 ， 必 须 验证 输入 。 

@ 是 否 验 证 Web 页 输入 。  . 

不 要 将 最 终 用 户 看 作 受 信任 的 数据 源 。 确 保 对 正常 和 隐藏 的 表单 字段 、 查 询 字 符 操 
和 cookie 都 进行 验证 。 

由 是 否 对 传递 到 组 件 或 Web 服务 的 参数 进行 验证 。 

如 果 不 进行 验证 ， 惟 一 的 安全 条 件 就 是 数据 接收 自 当前 信任 边界 之 内 。 但 是 ， 如 果 
使 用 深层 防御 策略 ， 则 需要 使 用 多 层 验 证 。 

@ 是 否 验证 从 数据 库 中 检索 的 数据 。 

这 种 形式 的 输入 也 应 验证 ， 特 别 是 当 其 他 应 用 程序 也 写 入 该 数据 库 时 。 不 要 对 其 他 
应 用 程序 的 数据 验证 程度 进行 假设 。 

是 否 将 方法 集中 起 来 。 

对 于 相同 类 型 的 输入 字段 类 型 ， 检 验 使 用 的 是 否 是 相同 的 验证 和 筛选 库 ， 确 保 一 致 
地 执行 验证 规则 。 

Q@ 是 否 依赖 客户 端的 验证 。 

客户 端 验证 可 用 于 降低 到 服务 器 的 回程 数量 ， 但 不 能 依靠 它 来 维护 安全 性 ， 因 为 它 
很 容易 被 忽略 。 需 要 在 服务 器 验证 所 有 的 输入 。 

e。 如 何 处 理 输入 。 

检查 应 用 程序 处 理 输入 的 方式 ， 不 同类 型 的 处 理 可 能 导致 不 同类 型 的 漏洞 。 例 如 ， 
如 果 在 SQL 查询 中 使 用 输入 ， 应 用 程序 可 能 易 受 SQL 注入 的 攻击 。 

测试 中 考虑 下 列 问题 ， 帮 助 发 现 潜在 的 漏洞 。 

Q@ 应 用 程序 是 否 易 受 规范 化 问题 的 影响 。 

检查 应 用 程序 是 和 否 使 用 基于 输入 的 名 称 来 制定 安全 决策 。 例 如 ， 应 用 程序 是 否 接受 
用 户 名 、 文 件 名 或 URL。 由 于 名 称 的 表示 方法 多 种 多 样 ， 以 上 各 项 都 极 易 造成 规范 化 错 
误 问 题 。 如 果 应 用 程序 接受 输入 作为 名 称 ， 则 应 确保 对 它们 进行 验证 并 在 处 理 之 前 将 它 
们 转换 为 规范 的 表示 法 。 


www.TopSage.com 


第 9 章 ”Web 应 用 测试 377 


@ 应 用 程序 是 否 易 受 SQL 注入 攻击 。 

密切 注意 形成 SQL 数据 库 查 询 的 所 有 输入 字段 。 确保 对 这 些 字 段 的 类 型 、 格 式 、 长 
度 和 范围 进行 正确 的 验证 。 此 外 ， 检 查 查 询 的 生成 方式 。 如 果 使 用 参数 化 的 存储 过 程 ， 
输入 参数 将 被 当 作文 本 ， 而 不 会 当 作 可 执行 代码 。 这 是 降低 风险 的 一 种 有 效 措施 。 

@ 应 用 程序 是 否 易 受 XSS 攻击 。 

如 果 在 HTML 输出 流 中 包括 输入 字段 ， 可 能 受到 XSS 攻击 。 确 保 对 输入 进行 验证 ， 
并 对 输出 进行 编码 。 密 切 注意 系统 对 接受 一 定 范围 HTML 字符 的 输入 字段 的 处 理 方法 。 

(3) 身份 验证 

检查 应 用 程序 验证 调用 者 身份 的 方法 ， 在 何 处 使 用 身份 验证 ， 如 何 确保 凭据 在 存储 
中 或 通过 网 络 传递 的 安全 。 身 份 验证 中 的 漏洞 可 能 导致 应 用 程序 易 受 哄骗 攻击 、 词 典 攻 
击 、 会 话 劫持 等 。 表 9-4 重点 列 出 了 常见 的 身份 验证 漏洞 。 


表 9-4 常见 的 身份 验证 漏洞 
注油 影 网 
弱 密 码 增加 了 破解 密码 和 词典 攻击 的 风险 


可 访 疝 服务 器 的 内 部 人 员 《 或 利用 主机 漏洞 下 载 配置 文件 的 攻击 
配置 文件 中 使 用 明文 移 据 。 | 者 都 能 直接 访问 该 攒 据 


通过 网 络 传 递 明文 凭据 攻击 者 可 通过 监控 网 络 来 盗 取 身份 验证 凭据 并 窃取 身份 
账户 的 特权 过 强 与 进程 和 账户 泄露 相关 的 风险 增加 

长 会 话 与 会 话 劫持 相关 的 风险 增加 

混用 个 性 化 数据 的 身份 验证 


个 性 化 数据 适 于 永久 的 cookie， 而 身份 验证 cookie 不 应 是 永久 的 


测试 中 需要 考虑 下 列 问题 ， 确 定 在 应 用 程序 进行 身份 验证 的 方法 中 的 潜在 漏洞 。 

。 ”是否 区 分 公共 访问 和 受 限 访问 。 

如 果 应 用 程序 既 有 不 要 求 身份 验证 的 公共 区 域 ， 也 有 要 求 身份 验证 的 受 限 区 域 检 
查 站 点 设计 区 分 二 者 的 方法 。 必 须 为 受 限 的 页 和 资源 使 用 单独 的 子 文件 夹 ， 然 后 在 IIS 
中 将 它们 配置 为 要 求 SSL 来 确保 安全 。 这 种 方法 允许 只 在 需要 的 地 方 使 用 SSL 来 确保 敏 
感 数据 和 身 法 验证 cookie 的 安全 性 , 从 而 避免 了 因 在 整个 站 点 中 使 用 SSL 而 造成 的 附加 
性 能 负担 。 

。 是 否 明确 服务 账户 要 求 。 

设计 应 明确 连接 不 同 资源 (包括 数据 库 、 目录 服务 和 其 他 类 型 的 网 络 资源 ) 的 服务 
账户 范围 。 设 计 中 不 能 使 用 单个 的 、 有 高 度 特权 的 账户 (有 足够 的 权限 连接 多 种 不 同类 
型 的 资源 )。 

(D 设计 是 否 要 求 特权 最 少 的 账户 
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检查 设计 并 准确 标识 各 账户 执行 特定 功能 所 需 的 特权 ， 然 后 在 任何 情况 下 都 使 用 特 
权 坟 少 的 账户 。 

@ 应 用 程序 是 否 要 维护 服务 账户 凭据 。 

如 果 是 ， 确 保 加 密 这 些 和 凭据 ， 然 后 保存 在 受 限 的 位 置 中 。 例 如 ， 保 存在 有 受 限 访 问 
控制 列表 (ACL) 的 注册 表 项 。 

。 如 何 验证 调用 者 身份 。 

测试 时 考虑 与 调用 者 身份 验证 相关 的 下 列 事项 。 具 体 事 项 由 设计 中 使 用 的 身份 验证 
类 型 决定 。 

QD 是 否 在 网 络 中 传递 明文 凭据 。 如 果 使 用 表单 或 基本 身份 验证 (或 使 用 Web 服务 
并 在 SOAP 头 中 传递 凭据 )， 确 保 使 用 SSL 来 保护 传输 中 的 凭据 。 

@ 是 否 实现 自己 的 用 户 存储 。 如 果 是 ， 检 查 用 户 凭 据 的 存储 位 置 和 存储 方式 。 一 
种 常见 错误 是 将 明文 或 加 密 密 码 保存 在 用 户 存储 中 。 实 际 上 ， 必 须 保 存 密码 的 哈 希 值 来 
进行 身份 验证 。 

如 果 根 据 SQL Server 用 户 存储 验证 凭据 ， 密 切 注 意 用 户 名 和 密码 的 输入 。 检 查 是 否 
存在 恶意 注入 的 SQL 字符 。 

@) 是 否 使 用 表单 身份 验证 。 如 果 是 ， 除 使 用 SSL 保护 凭据 外 ， 还 应 使 用 SSL 来 保 
护 身 份 验证 cookie。 此 外 ， 还 要 检查 设计 是 否 使 用 受 限 的 会 话 生存 期 来 抵御 cookie 重播 
攻击 ， 并 确保 加 密 cookie。 

e 如 何 验证 数据 库 的 身份 。 

如 果 应 用 程序 要 连接 数据 库 ， 检 查 使 用 的 身份 验证 机 制 、 打 算 使 用 的 账户 〈 一 个 或 
多 个 )， 以 及 如 何在 数据 库 中 授权 应 用 程序 。 

明确 下 列 问题 有 助 于 对 数据 库 身 份 验证 进行 评价 。 

@ 是 否 使 用 SQL 身份 验证 。 

在 理想 情况 下 ,设计 使 用 Windows 身份 验证 来 连接 SQL Server， 因 为 这 种 方法 本 身 
更 加 安全 。 如 果 使 用 SQL 身份 验证 , 检查 在 网 络 中 和 数据 库 连 接 字 符 串 中 确保 凭据 安全 
的 方法 。 

如 果 网 络 基 础 结构 不 提供 IPSec 加 密 通 道 ， 确 保 在 数据 库 中 安装 服务 器 证 书 来 提供 
自动 SQL 和 凭据 加 密 。 此 外 ， 还 要 检验 确保 数据 库 连接 字符 串 安 全 的 方法 ， 因 为 这 些 字 符 
串 中 包含 SQL 账户 的 用 户 名 和 密码 。 

是 否 使 用 进程 账户 。 

如 果 使 用 应 用 程序 的 进程 账户 并 使 用 Windows 身份 验证 连接 SQL 服务 器 ， 应 在 设 
计 中 使 用 特权 最 少 的 账户 。 本 地 ASPNET 账户 便 是 为 此 提供 的 , 尽管 对 于 本 地 账户 来 说 ， 
用 户 需 要 在 数据 库 服务 器 上 创建 一 个 相同 的 账户 。 


www.TopSage.com 


第 9 竟 _Web 应 用 测试 379 


如 果 打 算 使 用 域 账户 ， 首 先 确保 它 是 特权 最 少 的 账户 ， 然 后 打开 相关 的 端口 来 确保 
所 有 相关 防火 墙 都 支持 Windows 身份 验证 。 

(3) 是 否 使 用 服务 账户 。 

如 果 设 计 要 求 使 用 多 个 身份 来 支持 数据 库 中 的 高 粒度 授权 ， 则 舌 要 检查 保存 账户 凭 
据 (在 理想 情况 下 ， 这 些 凭据 使 用 数据 保护 API (DPAPI) 加 密 并 保存 在 安全 注册 表 项 
中 ) 的 方法 ， 以 及 使 用 服务 身份 的 方法 。 

此 外 ， 还 要 检查 使 用 哪些 进程 通过 该 服务 账户 创建 模拟 的 安全 上 下 文 。 该 操作 不 应 
由 Microsoft Windows 2000 中 的 ASPNET 应 用 程序 进程 来 完成 , 因为 它 将 强制 提升 进程 
账户 的 特权 ， 并 授予 “作为 操作 系统 的 一 部 分 ”特权 。 这 种 悄 况 必须 尽量 避免 ， 它 将 大 
大 增加 风险 。 

则 是 否 考虑 使 用 匿名 Intemet 用 户 身份 。 

对 于 使 用 表单 或 Passport 身份 验证 的 应 用 程序 而 言 ， 可 为 各 个 程序 配置 单独 的 匿名 
用 户 账户 。 然 后 ， 启用 模拟 并 使 用 匿名 身份 来 访问 数据 库 。 该 方法 适 于 对 同一 服务 器 的 
不 同 应 用 程序 进行 单独 的 授权 和 身份 跟踪 。 

@@ 是 否 使 用 原始 用 户 身份 。 

如 果 设 计 要 求 模拟 原始 调用 者 ， 必 须 考虑 该 方法 是 否 能 提供 足够 的 伸缩 性 ， 因 为 连 
接 池 是 无 效 的 。 另 一 种 备 选 方法 是 ， 通 过 受信 的 查询 参数 在 应 用 程序 级 流动 原始 调用 者 
身份 。 

如 何 保存 数据 库 连 接 字 符 串 。 

如 果 数 据 库 连 接 字符 串 硬 编码 ， 或 以 明文 形式 保存 在 配置 文件 或 COM+ 目录 中 ， 
则 很 容易 受到 攻击 。 实 际 上 ， 应 加 密 它 们 ， 然 后 限制 对 加 密 数 据 的 访问 。 

。 是 否 强制 使 用 强 账 户 管理 措施 。 

如 果 应 用 程序 使 用 Windows 身份 验证 ，Windows 安全 策略 将 强制 使 用 强 密码 、 受 
限 登 录 和 其 他 最 佳 账户 管理 策略 。 其 他 情况 ， 则 由 应 用 程序 层 负责 这 些 措施 。 测 试 要 考 
虑 与 应 用 程序 账户 管理 相关 的 下 列 问题 。 

Q 应 用 程序 是 否 强制 使 用 强 密码 。 

例如 ，ASP.NET Web 页 是 否 使 用 正则 表达 式 来 验证 密码 复杂 性 规则 。 

人 是 否 限 制 失败 登录 的 次 数 。 

这 样 做 有 助 于 对 抗 词典 攻击 。 

@ 是 否 在 故障 发 生 后 公开 过 多 的 信息 。 

确保 不 显示 类 似 “ 不 正确 的 密码 ”这 样 的 消息 ， 因 为 它 将 告诉 恶意 用 户 ， 用 户 名 是 
正确 的 。 结 果 ， 恶 意 用 户 便 可 集中 精力 破解 密码 。 

人 是 否 强制 定期 更 改 密码 。 
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如 果 不 强制 定期 更 改 密码 ， 用 户 极 有 可 能 不 更 改 自己 的 密码 ， 结果 风险 更 高 。 

@@ 是 否 能 在 泄露 发 生 时 迅速 禁用 账户 。 

如 果 账 户 泄 露 ， 是 否 能 方便 地 禁用 账户 来 防止 攻击 者 继续 使 用 账户 。 

应 用 程序 是 否 记 录 登 录 企 图 。 

记录 失败 的 登录 企图 是 检测 攻击 者 试图 侵入 的 有 效 方法 。 

(4) 授权 

检查 应 用 程序 是 如 何 向 用 户 授权 的 。 还 要 检验 应 用 程序 在 数据 库 中 是 如 何 被 授权 
的 ， 以 及 如 何 控制 系统 级 资源 的 访问 。 授 权 中 的 漏洞 可 能 导致 信息 泄漏 、 数 据 臭 改 及 特 
权 提 升 。 使 用 深层 防御 策略 是 一 种 重要 的 方法 ， 它 可 应 用 于 应 用 程序 的 授权 策略 中 。 
表 9-5 重点 列 出 了 常见 的 授权 漏洞 。 


表 9-5 常见 的 授权 漏洞 
润 ” 洞 影响 
依赖 单个 网 关 守 卫 se 用 户 能 不 经 授权 进 
不 能 根据 应 用 程序 身份 锁定 系统 资源 ” | 攻击 者 可 强制 应 用 程序 访问 受 限 的 系统 资源 
不 能 将 数据 库 访问 限定 于 特定 存储 过 程 ” | 攻击 者 可 利用 SQL 注入 攻击 来 检索 、 操 作 或 毁坏 数据 
特权 隔离 不 充分 | 没有 资 任 或 能 力 对 每 个 用 户 进行 授权 


测试 中 需要 考虑 下 列 问 题 ， 帮 助 验证 应 用 程序 设计 的 授权 策略 。 

。 如 何 向 最 终 用 户 授权 。 

应 在 设计 时 从 两 种 角度 考虑 授权 。 首 先 ， 考 虑 最 终 用 户 授 权 。 哪 些 用 户 可 访问 哪些 
资源 ， 并 执行 哪些 操作 。 其 次 ， 如 何 防止 恶意 用 户 使 用 应 用 程序 访问 系统 级 资源 。 考 虑 
下 列 问题 ， 验 证 应 用 程序 的 授权 策略 。 

@ 是 否 使 用 深层 防御 策略 。 

确保 设计 不 依赖 于 单个 网 关 守卫 来 加 强 访问 控制 。 考 虑 该 网 关 守 卫 失 败 (或 攻击 者 
设法 忽略 它 ) 时 发 生 的 情况 。 

@ 使 用 了 哪些 网 关 守 卫 。 

可 能 的 选择 有 IISWeb 权限 、NTFS 权限 、ASPNET 文件 授权 〈 仅 适用 于 Windows 
身份 验证 )、URL 授权 和 用 户 权 限 请 求 。 如 果 不 使 用 某 个 特定 类 型 ， 需 要 明确 不 使 用 的 
理由 。 

是 否 使 用 基于 角色 的 方法 。 

如 果 是 ， 如 何 维护 角色 列表 ， 维 护 角色 列表 所 需 的 管理 界面 安全 性 如 何 。 

角色 是 否 提供 足够 的 特权 隔离 。 
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设计 是 否 提供 了 适当 的 粒度 ， 使 不 同 用 户 角色 的 关联 特权 得 到 充分 的 隔离 。 避 免 出 
现 仅 为 满足 特定 用 户 需 要 而 授予 角色 较 高 特权 的 情况 。 和 

。 如 何在 数据 库 中 授权 应 用 程序 。 

在 应 用 程序 中 连接 数据 库 的 账户 必须 有 受 限 的 能 力 ， 只 需 满足 应 用 程序 的 要 求 即 
可 ， 不 要 再 商 了 。 

应 用 程序 是 否 使 用 存储 过 程 来 访问 数据 库 呢 ? 建议 应 用 程序 使 用 存储 过 程 来 访问 
数据 库 ， 因 为 一 般 用 户 只 能 授予 应 用 程序 登录 访问 特定 存储 过 程 的 权限 。 可 以 限制 登录 
不 在 数据 库 中 直接 执行 创建 / 读 取 /更 新 /删除 CRUD) 操作 。 

e。 如 何 将 访问 限定 于 系统 级 资源 。 

设计 应 用 程序 时 ， 应 考虑 应 用 程序 在 可 访问 系统 级 资源 方面 的 限制 。 只 能 授予 应 用 
程序 访问 最 低 限 度 的 资源 。 这 是 缓解 风险 的 一 种 策略 ， 可 在 应 用 程序 遭受 攻击 时 限制 受 
损 程度 。 考 虑 下 列 问 题 。 

QD 设计 是 否 使 用 代码 访问 安全 性 。 : 

代码 访问 安全 性 提供 了 一 种 资源 约束 模型 ， 该 模型 可 防止 代码 (和 Web 应 用 程序 ) 
访问 特定 类 型 的 系统 级 资源 。 如 果 使 用 代码 访问 安全 性 ， 设 计 必 将 受到 影响 。 明 确 是 否 
在 设计 规划 中 包括 代码 访问 安全 性 ， 然 后 通过 对 特权 代码 进行 隔离 和 沙 盒 处 理 
(sandboxing)， 并 将 资源 访问 代码 置 于 自己 独立 的 程序 集中 ， 从 而 进行 相应 的 设计 。 

@ 应 用 程序 使 用 哪些 身份 。 

设计 必须 明确 应 用 程序 使 用 的 所 有 身份 ， 包 括 进 程 身份 和 所 有 模拟 身份 (包括 匿名 
Intemet 用 户 账户 和 服务 身份 )。 此 外 ， 设 计 还 要 指出 这 些 身份 要 访问 的 资源 。 

在 部 署 时 ， 可 对 系统 级 资源 配置 正确 的 ACL, 确保 应 用 程序 的 身份 只 能 访问 所 需 的 

(5) 配置 管理 

如 果 应 用 程序 提供 了 可 配置 的 管理 界面 ， 要 检查 确保 管理 界面 安全 的 方法 。 此 外 ， 
还 要 检查 如 何 确保 敏感 配置 数据 的 安全 。 表 9-6 显示 了 常见 的 配置 管理 漏洞 。 


表 9-6 ”常见 的 配置 管理 漏洞 


注油 月 而 
不 安全 的 管理 界面 未 经 授权 的 用 户 可 重新 配 轩 应 用 程序 ， 并 访问 敏感 数据 
未 经 授权 的 用 户 可 访问 配置 存储 并 获取 机 窗 信 息 《如 账户 名 、 
不 安全 的 配置 存储 密码 和 数据 库 连接 详细 信息 ) 
明文 配置 数据 可 登录 服务 器 的 所 有 用 户 都 能 喜 厦 侣 感 的 本 并 效 据 
管理 员 太 多 这 使 管理 员 的 审核 和 评价 工作 变 得 很 困难 


进程 账户 和 服务 账户 的 特权 过 高 ”| 这 可 导致 特权 提升 攻击 
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测试 时 考虑 下 列 问 题 ， 帮 助 验证 应 用 程序 设计 在 配置 管理 方面 的 方法 。 

e 是否 支 持 远 程 管理 。 

如 果 设 计 指 定 了 远程 管理 ， 必 须 确保 管理 界面 和 配置 存储 的 安全 ， 因 为 这 些 操作 本 
身 非常 敏感 ， 而 且 首 过 管理 界面 访问 的 数据 也 很 敏感 。 考 虑 与 远程 管理 设计 相关 的 下 列 
问题 。 

QD 是 否 使 用 强身 份 验证 。 

必须 要 求 对 所 有 管理 界面 用 户 进行 身份 验证 。 使 用 强身 份 验 证 ， 如 Windows 或 客 
户 端 证 书 身份 验证 。 

@@ 是 否 加 密 网 络 通 信和 数据 。 

使 用 经 过 加 密 的 信道 ， 如 IPSec 或 虚拟 专用 网 络 (VPN) 连接 提供 的 通道 。 不 支持 
不 安全 通道 中 的 远程 管理 。IPSec 允许 对 可 用 来 管理 服务 器 的 客户 计算 机 的 身份 和 数量 
进行 限制 。 

e 是 否 保证 配置 存储 的 安全 。 

明确 应 用 程序 的 配置 存储 ， 然 后 检查 限制 访问 这 些 存储 的 方法 ， 以 及 确保 存储 中 数 
据 安全 的 方法 。 

配置 存储 是 否 在 Web 空间 中 。 

对 于 保存 在 Web 空间 文件 中 的 配置 数据 ， 其 安全 性 要 低 于 保存 在 Web 空间 之 外 的 
数据 。 主 机 配置 错误 或 未 发 现 的 Bug 都 可 能 导致 攻击 者 通过 HTTP 检索 ， 并 下 载 配 置 
文件 。 

@ 配置 存储 中 的 数据 是 否 安 全 。 

确保 在 存储 中 加 密 关 键 的 配置 数据 项 〈 如 数据 库 连 接 字符 串 、 加 蜜 密 钥 和 服务 账户 
凭据 )。 

图 如 何 限制 对 配置 存储 的 访问 。 

确保 管理 界面 提供 必要 的 授权 ， 只 有 经 过 验证 的 管理 员 才 可 访问 并 操作 这 些 
数据 。 

。 是否 隔离 管理 员 特 权 。 

如 果 管 理 界 面 支持 不 同 的 功能 〈 如 站 点 内 容 更 新 ， 服 务 账户 重新 配置 和 数据 库 连 接 
详细 信息 ), 要 确认 管理 界面 支持 基于 角色 的 授权 ,从 而 区 分 内 容 开 发 人 员 和 操作 员 或 系 
统管 理 员 。 例 如, 不必 许 可 更 新 静态 Web 站 点 的 人 改变 客户 的 信用 额度 或 重新 配置 数据 
库 连 接 字符 串 。 

(6) 敏感 数据 

检查 应 用 程序 对 存储 中 、 应 用 程序 内 存 中 以 及 网 络 中 的 敏感 数据 的 处 理 方法 。 表 9-7 
显示 了 与 处 理 敏 感 数 据 相关 的 常见 漏洞 。 
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表 9-7 人 
润滑 影响 
在 不 必要 的 情况 下 存储 机 密 信息 与 不 存储 机 密 信息 相 比 ， 这 首先 大 大 增加 了 安全 风险 
如 果 代 码 位 于 服务 器 , 攻击 者 可 能 下 载 它 。 在 二 进 制程 序 集中 ， 
在 代码 中 存储 机 密 数 据 机 密 信 息 是 可 见 的 
以 明文 形式 存储 机 密 信 息 任何 能 登录 服务 器 的 人 都 可 看 到 机 密 数 据 
在 网 络 中 以 明文 传递 敏感 数据 穿 昕 者 可 通过 监控 网 络 来 获取 并 纂 改 这 些 数 据 


测试 中 要 考虑 下 列 问 题 ， 帮 助 验 证 应 用 程序 处 理 敏 感 数 据 的 方法 。 

。 是 否 存储 机 密 信息 。 

机 密 信 息 包括 了 应 用 程序 的 配置 数据 ， 如 账户 密码 和 加 密 密 钥 。 如 果 可 能 ， 明 确 其 
他 避免 保存 机 密 信 息 的 设计 方法 。 如 果 要 处 理 机 密 信息 ， 由 系统 平台 处 理 它们 ， 尽 可 能 
不 在 应 用 程序 中 承担 这 一 任务 。 如 果 确 实 要 保存 机 密 信 息 ， 则 要 考虑 下 列 问 题 。 

是 否 能 避免 存储 机 密 信息 。 

如 果 使 用 其 他 的 实施 技术 ， 是 否 能 避免 存储 机 密 信 息 。 例 如 ， 如 果 只 需 了 解 用 户 是 
否 知道 密码 ， 则 无 需 存 储 密码 。 或 者 ， 仅 保存 单 向 的 密码 哈 希 值 。 

此 外 ， 如 果 使 用 Windows 身份 验证 ， 可 通过 赃 套 凭据 来 避免 存储 连接 字符 串 。 

凶 如 何 存储 机 密 信息 。 

如 果 使 用 加 密 ， 如 何 确 保 加 密 密 钥 的 安全 。 考 虑 使 用 系统 平台 提供 的 DPAPI 加 密 ， 
这 种 加 密 能 替 用 户 完成 密 钥 管理 。 

@) 在 何 处 保存 机 密 信 息 。 

检查 应 用 程序 保存 加 密 数 据 的 方法 。 要 获得 尽 可 能 高 的 安全 性 ， 应 使 用 Windows 
ACL 限制 对 加 密 数据 的 访问 。 确 认 应 用 程序 不 以 明文 或 源 代码 形式 存储 机 密 信息 。 

如 果 使 用 本 地 安全 机 构 (LSA), 检索 机 密 信息 的 代码 必须 使 用 管理 员 特 权 才 可 以 运 
行 ， 这 将 增加 风险 。 另 一 种 不 要 求 扩展 特权 的 方法 是 使 用 DPAPI。 

曲 如 何 处 理 机密 信 息 。 

检验 应 用 程序 访问 机 密 信 息 的 方法 ， 以 及 它们 以 明文 形式 存留 在 内 存 中 的 时 间 。 机 
密 信息 通常 应 根据 需要 检索 ， 并 尽快 使 用 ， 然 后 丢弃 。 

@ 是 否 在 cookie 中 存储 机 密 信息 。 

如 果 是 ， 应 确保 cookie 是 加 密 的 ， 且 不 会 永久 保存 在 客户 计算 机 中 。 

。 如何 存储 敏感 数据 。 

如 果 存 储 了 敏感 的 应 用 程序 数据 (如 客户 信用 卡 详细 信息 )， 检 查 数 据 保护 方法 。 

Q 使 用 怎样 的 加 密 算法 。 : 

应 使 用 强加 密 算法 来 加 密 。 例 如 ， 使 用 较 长 的 密 钥 (如 Triple DES)。 
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人 如 何 确保 加 密 密 钥 的 安全 性 。 

数据 的 安全 性 与 加 密 密 钥 安全 性 同等 重要 。 因 此 ， 检 查 确 保密 钥 安 全 的 方法 。 在 理 
想 状况 下 ， 使 用 DPAPI 加 密 密 钥 并 保存 在 受 限 位 置 ( 如 注册 表 项 中 ) 来 确保 安全 。- 

e。 是否 在 网 络 中 传递 敏感 数据 。 

如 果 通 过 网 络 传递 敏感 数据 ， 应 确保 通过 应 用 程序 加 密 这 些 数据 ， 或 通过 加 密 的 通 
信和 链接 来 传递 它们 。 

。 是否 记录 敏感 数据 。 

检查 应 用 程序 (或 主机 ) 是 否 在 明文 日 志文 件 中 记录 用 户 账户 密码 这 样 的 敏感 数据 。 
通常 ， 必 须 避 免 这 样 做 。 确 保 应 用 程序 不 在 查询 字符 串 中 传递 敏感 数据 ， 因 为 查询 字符 
捉 会 被 记录 ， 并 可 在 客户 端 浏 览 器 地 址 栏 中 直接 看 到 。 

(7) 会 话 管理 

由 于 Web 应 用 程序 基于 无 状态 的 HTTP 协议 生成 ， 因 此 会 话 管理 是 应 用 程序 级 任 
务 。 检 查 应 用 程序 的 会 话 管理 方法 ， 因 为 它 将 直接 影响 应 用 程序 的 整体 安 整 。 表 9-8 显 
示 了 与 会 话 管理 相关 的 常见 漏洞 。 


表 9-8 常见 的 会 话 管理 澜 洞 


洞 油 影 网 、 
通过 未 加 密 的 通道 传递 会 话 标识 符 攻击 者 可 捕获 会 话 标识 符 来 窃取 身份 
会 话 生 存 期 延长 | 这 将 增加 会 话 劫持 和 重播 攻击 的 风险 
会 话 状态 存储 不 安全 攻击 者 可 访问 用 户 的 私有 会 话 数据 
me | 可 通过 在 客户 端 轻 松 修改 会 话 标识 符 来 窃取 身份 ， 然 后 作 


| 为 为 一 用 户 访问 应 用 程序 


测试 中 需要 考虑 下 列 问 题 ， 帮 助 验证 应 用 程序 处 理 敏感 数据 的 方法 。 

。 如何 交换 会 话 标识 符 。 

检查 应 用 程序 管理 用 户 会 话 的 会 话 标 识 符 ， 以 及 这 些 会 话 标识 符 的 交换 方式 。 考 虑 
下 列 问题 。 

(D 是 否 通 过 未 加 密 的 通道 传递 会 话 标识 符 。 

如 果 使 用 会 话 标 识 符 ( 如 cookie 中 包含 的 令 和 凰 ) 跟踪 会 话 状态 ， 检 查 是 否 仅 通过 加 
密 的 通道 (如 SSL) 传递 标识 符 或 cookie。 

@ 是 否 加 密会 话 cookie。 

如 果 使 用 表单 身份 验证 ， 确 保 应 用 程序 使 用 “<forms>” 元 素 中 的 protection="All" 
属性 加 密 身 份 验证 。 建 议 同 时 使 用 SSL 和 这 种 方法 ， 以 便 降 低 XSS 攻击 的 风险 ，XSS 
攻击 可 设法 窃取 用 户 的 身份 验证 cookie。 
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@) 是 否 在 查询 字符 串 中 传递 会 话 标 识 符 。 

确保 应 用 程序 不 在 查询 字符 串 中 传递 会 话 标 识 符 。 这 些 字 符 串 可 在 客户 端 轻易 修 
改 ， 使 用 户 能 作为 另 一 用 户 访问 应 用 程序 ， 访 问 其 他 用 户 的 私有 数据 ， 并 可 能 提升 特权 。 

。 是 否 限制 会 话 生存 期 。 

检查 应 用 程序 认为 会 话 标识 符 有 效 的 时 间 。 应 用 程序 应 限制 这 段 时 间 的 长 度 ， 以 降 
低 会 话 支持 和 重播 攻击 的 威胁 。 

。 如 何 确 保 会 话 状态 存储 的 安全 。 

检查 应 用 程序 存储 会 话 状态 的 方法 。 会 话 状 态 可 存储 在 Web 应 用 程序 进程 、 
ASPNET 会 话 状态 服务 ， 或 SQL Server 状态 存储 中 。 如 果 使 用 远程 状态 存储 ， 请 确保 
Web 服务 器 到 该 远程 存储 的 链接 使 用 IPSec 或 SSL 加 密 ， 以 保护 在 网 络 中 传输 的 数据 。 

(8)》 加 密 

如 果 应 用 程序 使 用 加 密 来 提供 安全 性 ， 检查 加 密 的 内 容 久 及 加 密 的 使 用 方法 。 表 9-9 
显示 了 与 加 密 有 关 的 钊 见 漏洞 。 


表 9-9 常见 的 加 密 漏洞 


漏洞 影 刚 
re Le eT 
a 使 用 较 新 的 算法 可 提高 安全 性 ， 使 用 较 大 的 密 钥 也 
使 用 错误 的 算法 ， 或 密 铀 过 4 pe 
不 能 确保 加 密 密 铀 的 安全 性 加 密 数 据 的 安全 性 与 加 密 密 铀 的 安全 性 同等 重要 
在 延长 的 时 间 段 使 用 同一 密 铀 如 果 长 时 间 使 用 ， 枫 态 密 钥 很 容易 被 发 现 


测试 中 需要 考虑 下 列 问题 ， 帮 助 验证 应 用 程序 处 理 敏 感 数据 的 方法 。 

。 为 何 使 用 特定 的 算法 。 

加 密 只 有 在 正确 使 用 时 才能 提供 其 正 的 安全 保障 。 不 同 作业 使 用 不 同 的 算法 。 算 法 
的 程度 也 非常 重要 。 考 虑 下 列 问题 ， 评 价 所 使 用 的 加 密 算法 。 

(D 是 否 开 发 自己 的 加 密 技术 。 

不 应 开发 自己 的 加 密 技 术 。 众 所 周知 ， 加 密 算法 和 例 程 的 开发 非常 难 ， 而 且 很 难 成 
功 。 自 定义 实施 的 安全 保护 一 般 很 弱 ， 基 本 上 不 如 和 久 经 考验 的 系统 平台 服务 提供 的 安全 
措施 。 

@ 是 否 使 用 合适 的 密 钥 大 小 来 应 用 正确 的 算法 。 

检查 应 用 程序 使 用 的 算法 及 使 用 该 算法 的 目的 。 较 大 的 密 钥 可 提供 较 高 的 安全 性 ， 
ee 对 于 在 数据 存储 中 长 时 间 保 存 的 永久 数 据 ， 较 强 的 加 密 非常 重要 。 

如 何 确 保 加 密 密 钥 的 安全 性 。 
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加 密 数据 的 安全 与 密 钥 的 安全 同等 重要 。 要 破解 加 密 数 据 ， 攻 击 者 必须 能 检索 出 密 
铀 和 密码 文本 。 因 此 ， 需 要 检查 设计 ， 确 保 加 密 密 钥 和 加 密 数据 的 安全 。 考 虑 下 列 评价 
问题 。 

QD 如 何 确 保 加 密 密 钥 的 安全 。 

如 果 使 用 DPAPI, 将 由 系统 平台 为 用 户 管 理 密 钥 。 其 他 情况 下 ， 则 由 应 用 程序 负责 
密 钥 管理 。 检 查 应 用 程序 确保 加 密 密 钥 安全 的 方法 。 一 种 较 好 的 方法 是 ， 使 用 DPAPI 
加 密 其 他 加 密 形式 所 需 的 加 密 密 钥 。 然 后 ， 安 全 地 保存 加 密 密 钥 ， 例 如， 将 其 放 在 配置 
了 受 限 ACL 的 注册 表 项 目下 。 

@ 回收 密 钥 的 频率 如 何 。 

不 能 滥用 密 铀 。 同 一 密 钥 使 用 的 时 间 越 长 ， 被 发 现 的 可 能 性 就 越 高 。 设 计 是 否 考 虑 
了 怎样 回收 密 钥 、 回 收 的 频率 ， 以 及 如 何 将 它们 分 发 并 安置 在 服务 器 中 。 

(9) 参数 操作 

检查 应 用 程序 使 用 参数 的 方法 。 这 些 参数 包括 了 在 客户 端 和 服务 器 间 传 递 的 表单 字 
段 、 查 询 字 符 串 、cookie、HTTP 头 和 视图 状态 。 如 果 使 用 像 查 询 字 符 串 这 样 的 参数 传递 
敏感 数据 〈 如 会 话 标 识 符 )， 恶 意 客户 端 可 轻松 使 用 简单 的 参数 操作 逃避 服务 器 端 检查 。 
表 9-10 显示 了 常见 的 参数 操作 漏洞 。 


表 9-10 常见 的 参数 操作 润 洞 


泣 洞 影响 

应 用 程序 易 受 拒绝 服务 攻击 和 代码 注入 攻击 ， 包 括 
无 法 验证 所 有 输入 参数 sw 
0 Ooms 六 本 可可 岂 汪 机 。 认 机 类 过 加 络 检 机 
查询 字符 捉 和 表单 字段 中 存在 敏感 数据 可 在 客户 端 轻松 地 更 改 
信任 HTTP 头 信息 可 在 客户 端 轻松 地 更 改 
视图 状态 未 保护 可 在 客户 端 轻松 地 更 改 


测试 中 衢 要 考虑 下 列 问 题 ， 以 帮助 确保 您 的 设计 不 受 参 数 操作 攻击 影响 。 

e 是 否 验证 所 有 的 答 入 参数 。 

确保 应 用 程序 验证 所 有 的 输入 人 参数， 包括 正常 和 隐藏 的 表单 了 字段、 查询 字符 串 和 
cookie。 

。 是 否 在 参数 中 传递 敏感 数据 。 

如 果 应 用 程序 在 参数 〈 如 查询 字符 串 或 表单 字段 ) 中 传递 敏感 数据 ， 应 检查 应 用 程 
序 使 用 这 种 方法 而 不 是 更 安全 的 方法 〈 传 递 会 话 标识 符 ) 的 原因 。 例如, 在 加 密 的 cookie 
中 传递 会 话 标 识 符 。 使 用 这 些 信 息 将 会 话 与 在 服务 器 状态 存储 中 维护 的 用 户 状态 相关 联 。 
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考虑 下 列 评价 问题 。 

@ 是 否 加 密 包含 敏感 数据 的 cookie. 

如 果 应 用 程序 使 用 包含 敏感 数据 的 cookie， 如 用 户 名 或 角色 列表 ;确保 它 是 经 过 加 
密 的 。 

包 是 否 在 查询 字符 串 或 表单 字段 中 传递 敏感 数据 。 

不 能 这 样 做 ， 因 为 就 操作 查询 字符 串 或 表单 字段 中 的 数据 而 言 ， 没 有 简便 的 方法 可 
用 。 实 际 操作 过 程 中 ， 应 考虑 使 用 加 密 的 会 话 标 识 符 ， 然 后 将 敏感 数据 保存 在 服务 器 的 
会 话 状态 存储 中 。 

@ 是 否 保护 视图 状态 。 

如 果 Web 页 或 控件 使 用 视图 状态 在 HTTP 请 求 之 间 维 持 状态 , 确保 视图 状态 经 过 加 
密 ， 并 使 用 消息 验证 代码 (MAC) 检查 其 完整 性 。 用 户 可 在 计算 机 级 配置 该 设置 ， 也 可 
按 页 配置 。 

e。 是 否 为 了 安全 问题 而 使 用 HTTP 头 数据 。 

确保 Web 应 用 程序 不 根据 HTTP 头 中 的 信息 制定 安全 决策 因为 攻击 者 可 轻松 地 操 
作 头 数据 。 不 要 依赖 HTTP 引用 站 点 字段 的 值 来 检查 源 于 页 的 请 求 是 否 由 Web 应 用 程序 
生成 ， 这 将 带 来 漏洞 。 这 种 操作 本 身 很 不 安全 ， 因 为 引用 站 点 字段 可 在 客户 端 轻 松 更 改 。 

(10) 异常 管理 

检查 应 用 程序 处 理 错误 的 方法 。 应 前 后 一 致 地 使 用 结构 化 的 异常 处 理 。 同样 ， 确 保 
应 用 程序 不 在 发 生 异 常 时 公开 太 多 信息 。 表 9-11 显示 了 两 大 异常 管理 漏洞 。 


表 9-11 常见 的 异常 管理 漏洞 


泣 。” 油 | 影 网 
应 用 程序 更 易 受 到 拒绝 服务 的 攻击 ， 并 容易 出 现 逻 辑 
无 法 使 用 结构 化 的 异常 处 理 错误 ， 从 而 暴露 安全 漏洞 
向 客户 端 公开 太 多 信息 攻击 者 可 使 用 这 些 信息 来 规划 和 调整 日 后 的 攻击 


测试 时 应 考虑 下 列 问 题 ， 以 确保 设计 不 易 受 到 异常 管理 安全 漏洞 的 影响 。 

。 是 否 使 用 结构 化 的 异常 处 理 。 

检查 应 用 程序 如 何 使 用 结构 化 的 异常 处 理 。 设 计 应 强制 在 整个 应 用 程序 中 使 用 一 致 
的 结构 化 异常 处 理 。 这 将 创建 更 强大 的 应 用 程序 ， I A 
不 一 致 状态 下 。 

。 是 否 向 客户 端 公开 了 太 多 的 信息 。 

确保 恶意 用 户 无 法 利用 错误 信息 中 的 细节 信息 ， 考 虑 下 列 问题 。 

QD 是 否 在 服务 器 中 捕获 、 处 理 和 日 志 记录 异常 。 
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确保 应 用 程序 不 会 将 内 部 异常 情况 传播 到 应 用 程序 边界 以 外 。 异 常 应 在 服务 器 中 捕 
获 并 记录 日 志 。 如 果 必 要 ， 应 向 客户 端 返回 常规 错误 信息 。 

包 是 否 使 用 集中 的 异常 管理 系统 。 

在 应 用 程序 中 一 致 处 理 并 日 志 记 录 蜡 常 的 最 佳 方法 是 ， 使 用 正式 的 异常 处 理 系统 。 
还 可 将 该 系统 与 操作 组 监视 系统 性 能 的 监控 系统 相 结合 。 

轩 是 否定 义 了 一 组 自 定 义 错误 信息 。 

设计 必须 明确 ， 应 用 程序 在 发 生 严 重 错误 时 使 用 自 定 义 的 错误 信息 。 确 保 这 些 消息 
中 不 包含 任何 可 能 被 恶意 用 户 利 用 的 敏感 数据 。 

(11) 审核 和 日 志 记 录 

检查 应 用 程序 的 审核 和 日 志 记 录 方 法 。 除 了 防止 抵赖 之 外 ， 定 期 分 析 日 志文 件 有 助 
于 识别 入 侵 迹 象 。 表 9-12 显示 了 常见 的 审核 和 日 志 记 录 漏 洞 。 


表 9-12 常见 的 审核 和 日 志 记录 澜 洞 


注油 影 唤 
无 法 审核 失败 的 登录 入 侵 企图 得 不 到 检测 
无 法 确保 审核 文件 的 安全 攻击 者 可 挖 饰 自己 的 攻击 
无 法 时 应 用 程序 层 进行 审核 增加 了 抵赖 的 风险 


测试 中 需要 考虑 下 列 问 题 ， 帮 助 验证 应 用 程序 审核 和 日 志 记 录 的 方法 。 

。 是 否 明确 了 要 审核 的 关键 活动 。 

设计 必须 定义 要 审核 的 活动 。 考 虑 下 列 问题 : 

@ 是 否 审核 失败 的 登录 尝试 。- 

这 允许 用 户 检测 入 侵 和 密码 破解 企图 。 

@ 是 否 审核 其 他 关键 操作 。 

确保 审核 其 他 关键 事件 ， 包 括 数 据 检 索 、 网 络 通信 和 管理 功能 (如 启用 和 禁用 日 志 
记录 )。 

。 是 否 考虑 过 如 何 流动 原始 调用 者 身份 。 z 

设计 必须 确保 跨 多 个 应 用 程序 层 来 进行 审核 活动 。 为 此 ， 原 始 调用 者 的 身份 必须 在 
每 个 层 都 可 用 。 

@ 是 否 跨 应 用 程序 层 进行 审核 。 

检验 每 个 层 是 否 都 按 预期 计划 对 活动 进行 审核 。 

@ 如 何 同步 多 个 日 志 。 

日 志文 件 是 证 明 个 人 犯罪 行为 和 解决 抵赖 问题 的 法 律 程序 所 必需 的 。 通 常 ， 在 访问 
资源 的 时 候 ， 如 果 由 访问 资源 的 同一 例 程 生成 审核 ， 则 审核 最 具 权 感性。 确认 应 用 程序 
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设计 中 与 日 志文 件 同步 相关 的 问题 ， 然 后 记录 某 种 形式 的 请 求 标识 符 ， 确 保 多 个 日 志文 
件 条 目 可 互相 关联 ， 并 能 关联 至 同一 请 求 。 
@ 如 何 流动 原始 调用 者 身份 。 
如 果 不 在 操作 系统 级 流动 原始 调用 者 身份 〈 例 如 ， 由 于 此 方法 伸缩 性 有 限 )， 应 明 
确 应 用 程序 如 何 流动 原始 调用 者 身份 。 对 于 跨 层 审核 ， 这 是 必需 的 〈 对 于 授权 来 说 ， 可 
能 同样 必需 )。 
此 外 ， 如 果 多 个 用 户 映射 到 同一 应 用 程序 角色 ， 应 确保 应 用 程序 记录 原始 调用 者 的 
身份 。 
。 ”是否 考虑 过 保护 日 志文 件 管理 策略 。 
检查 应 用 程序 设计 是 否 考虑 到 日 志文 件 的 备份 、 存 档 和 分 析 。 日 志文 件 必须 定期 存 
档 来 确保 不 被 充满 ， 如 果 充 满 ， 应 开始 回收 。 而 且 ， 还 要 经 常 分 析 日 志文 件 来 检测 入 侵 
迹象 。 此 外 ， 确 保 执行 备份 的 账户 都 是 特权 最 少 的 ， 确 保 仅 为 备份 而 公开 的 所 有 附加 信 
道 安 全 。 
2. 应 用 及 传输 安全 
Web 应 用 系统 的 安全 性 从 使 用 的 角度 可 分 为 应 用 级 的 安全 与 传输 级 的 安全 ， 安 全 性 
测试 也 可 从 这 两 个 方面 入 手 。 
应 用 级 的 安全 测试 的 主要 目的 是 查找 Web 应 用 系统 自身 程序 设计 中 存在 的 安全 隐 
患 ， 主 要 测试 区 域 如 下 。 
。 注册 与 登录 : 现在 的 Web 应 用 系统 基本 采用 先 注 册 ， 后 登录 的 方式 。 因 此 ， 必 
须 测试 有 效 和 无 效 的 用 户 名 和 密码 ， 要 注意 到 是 否 存在 大 小 写 敏感 ， 可 以 试 多 
少 次 的 限制 ， 是 否 可 以 不 登录 而 直接 浏览 某 个 页 面 等 。 
。 ”在线 超 时 ，Web 应 用 系统 是 否 有 超时 的 限制 ， 也 就 是 说 ， 用 户 登 录 后 在 一 定时 
间 内 《例如 15 分 钟 ) 没有 点 击 任 何 页 面 ， 是 否 需要 重新 登录 才能 正常 使 用 。 
。 操作 留 痕 ， 为 了 保证 Web 应 用 系统 的 安全 性 ， 日 志文 件 是 至 关 重 要 的 。 需 要 测 
试 相关 信息 是 否 写 进 了 日 志文 件 ， 是 否 可 追踪 。 
。 备份 与 恢复 :为 了 防范 系统 的 意外 骨 湾 造成 的 数据 丢失 ， 备 份 与 恢复 手段 是 一 
个 Web 系统 的 必 备 的 功能 。 备份 与 恢复 根据 Web 系统 对 安全 性 的 要 求 可 以 采用 
多 种 手段 ， 如 数据 库 增 量 备份 、 数 据 库 完全 备份 、 系 统 完 全 备份 等 。 出 于 更 高 
的 安全 性 要 求 ， 某 些 实时 系统 经 常会 采用 双 机 热 备 或 多 机 热 备 。 除 了 对 于 这 些 
备份 与 恢复 方式 进行 验证 测试 以 外 ， 还 要 评估 这 种 备份 与 恢复 方式 是 否 满足 
Web 系统 的 安全 性 需求 。 
传输 级 的 安全 测试 是 考虑 到 Web 系统 的 传输 的 特殊 性 , 重点 测试 数据 经 客户 端 传送 
到 服务 器 端 可 能 存在 的 安全 漏洞 ， 以 及 服务 器 防范 非法 访问 的 能 力 。 一 般 测试 项 目 包括 
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以 下 几 个 方面 。 


HTTPS 和 SSL 测试 : 默认 的 情况 下 ， 安 全 HTTP (Secure HTTP) 通过 安全 套 
接 字 SSL 〈Secure Socket Layer) 协议 在 端口 443 上 使 用 普通 的 HTTP。HTTPS 
使 用 的 公共 密 钥 的 加 密 长 度 决定 的 HTTPS 的 安全 级 别 ， 但 从 某 种 意义 上 来 说 ， 
安全 性 的 保证 是 以 损失 性 能 为 代价 的 。 除 了 还 要 测试 加 密 是 否 正 确 ， 检 查 信息 
的 完整 性 和 确认 HTTPS 的 安全 级 别 外 ,还 要 注意 在 此 安全 级 别 下 ,其 性 能 是 否 
达到 要 求 。 

服务 器 端的 脚本 漏洞 检验 : 存在 于 服务 器 端的 脚本 常常 构成 安全 漏洞 ， 这 些 漏 
洞 又 常常 被 黑客 利用 。 所 以 ， 还 要 测试 没有 经 过 授权 ， 就 不 能 在 服务 器 端 放 置 
和 编辑 脚本 的 问题 。 这 可 以 通过 设计 一 些 相应 的 测试 案例 来 进行 验证 。 
防火 墙 测试 : 防火 墙 是 一 种 主要 用 于 防护 非法 访问 的 路 由 器 ， 在 Web 系统 中 是 
很 常用 的 一 种 安全 系统 。 防 火 墙 测试 是 一 个 很 大 很 专业 的 课题 ， 但 这 里 所 涉及 
的 只 是 对 防火 墙 的 功能 、 设 置 进行 测 试 ， 以 判断 是 否 满 足 本 Web 系统 的 安全 
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本 章 首先 介绍 了 网 络 测试 的 基本 知识 ， 阐 述 了 网 络 测试 的 内 容 和 方法 ， 并 列举 了 一 
些 网 络 测 试 的 指标 ， 使 读者 能 够 对 网 络 测试 的 过 程 有 一 定 的 了 解 ; 忆 外 ， 介 绍 了 网 络 仿 
真 技术 及 其 在 网 络 测试 中 的 运用 ， 最 后 探讨 了 网 络 应 用 测试 。 


10.1 网 络 测试 概述 


10.1.1 网 络 测试 发 展 


自从 网 络 通信 产品 的 诞生 起 ， 网 络 测试 技术 就 成 为 通信 工业 中 不 可 或 缺 的 部 分 。 伴 
随 着 通信 产品 的 更 新 换代 和 网 络 构建 技术 的 发 展 ， 网 络 测 试 技 术 也 经 历 了 几 个 阶段 的 发 
展 ， 其 技术 主体 已 经 逐渐 趋 于 成 熟 。 

20 世纪 1990 年 以 前 ， 网 络 产 品 较 少 ， 并 且 网 络 架 构 比 较 简 单 ， 网 络 测 试 仅 限于 验 
证 网 络 设 备 和 网 络 的 功能 ， 即 现在 人 们 常 说 的 功能 测试 。 可 以 说 20 世纪 90 年 代 以 前 基 
本 上 是 网 络 产 品 和 数据 测试 仪表 的 “史前 年 代 ”。 

1990 年 以 后 ， 随 着 HUB 等 产品 的 运用 ， 网 络 产 品 发 展 速度 加 快 ， 世 界 上 先后 出 现 
了 第 一 台 功 能 强大 的 性 能 测试 仪表 , 解码 分 析 仪 表 和 一 致 性 测试 软件 /仪表 等 一 系列 重要 
的 测试 产品 。1990 年 至 2003 年 这 段 时 间 ， 是 网 络 测试 技术 发 展 的 黄金 时 期 ， 期 间 ， 关 
于 网 络 设备 、 网 络 性 能 和 网 络 应 用 的 测试 技术 基本 形成 比较 完整 的 体系 。 

国内 的 网 络 测试 真正 得 到 重视 始 于 1998 年 ,一 批 有 远见 的 数据 通信 厂商 和 网 络 测试 
技术 研究 人 员 开 始 吸 收 和 引进 国际 上 先进 的 测试 方法 和 测试 设备 , 并 培养 出 一 批 网 络 测试 
人 员 。 但 国内 的 网 络 测试 发 展 的 时 间 并 不 长 ， 技 术 水 平 距 国 际 先进 水 平 沿 有 一 定 的 差距 。 

目前 ， 国 际 的 测试 市 场 发 展 到 了 一 个 新 的 阶段 ， 其 发 展 的 走势 正面 临 着 一 些 比较 大 
的 变革 。 下 面 我 们 探讨 其 中 几 个 比较 值得 注意 的 动向 。 

1. 网 络 测试 的 对 象 从 网 络 层 向 应 用 层 过 渡 z 

类 似 于 丢 包 率 、 延迟 等 指标 的 测试 现在 已 经 做 得 很 纯熟 了 , 虽然 这 样 的 测试 很 重要 ， 
但 我 们 需要 想 一 下 这 个 问题 ， 测试 的 最 终 目 的 是 什么 ? 答案 其 实 很 简单 ， 就 是 要 确保 网 
络 能 够 承载 各 种 各 样 的 应 用 。 最 终 用 户 可 能 不 会 关心 某 种 条 件 下 设备 的 丢 包 率 ， 他 可 能 
更 在 意 诸如 “能 否 开展 VOD 业务 ， 能 有 多 少 个 用 户 同 时 上 线 ” 等 问题 。 回 答 这 些 问题 
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的 最 好 的 办 法 是 对 网 络 上 加 载 不 同 应 用 的 情况 进行 测试 。 从 某 种 意义 上 说 ;测试 应 用 才 
是 网 络 测试 的 真正 意义 所 在 。 目 前 我 们 看 到 很 多 应 用 测试 已 经 如 火 如 茶 地 开展 起 来 了 ， 
比如 话音 业务 ， 网 站 业务 等 。 这 将 成 为 一 个 长 久 的 过 程 ， 不 断 发 展 下 去 。 

2 测试 重点 将 逐渐 转向 可 舍 性 测试 

很 多 用 户 持 有 这 样 的 观点 : 国外 的 网 络 产 品 比 国内 的 更 稳定 ， 如 果 价 格 允 许 ， 要 优 
先 考虑 采用 国外 的 网 络 产 品 。 我 们 不 能 去 指 次 用 户 的 观点 ， 但 有 个 问题 需要 我 们 思考 ， 
为 什么 我 们 国家 的 很 多 产品 性 能 和 功能 已 经 相当 完备 了 ， 用 户 们 还 是 不 大 敢 用 ? 对 用 户 
来 说 ， 网 络 可 车 性 测试 的 重要 性 甚至 超过 性 能 测试 。 网 络 可 靠 性 的 提高 同样 需要 网 络 测 
试 来 促进 ， 而 不 能 仅仅 寄 希 望 于 设计 和 开发 。 目 前 国内 对 这 方面 的 测试 方法 研究 还 比较 
少 ， 但 是 可 以 预见 ， 网 络 可 车 性 测试 将 成 为 网 络 测试 技术 发 展 的 主要 趋势 之 一 。 

3. 网 络 的 安全 性 测试 将 得 到 重视 _ 

2003 年 ， 几 次 重大 的 网 络 病毒 事件 为 人 们 柄 啊 了 警钟 。 以 并， 网 络 的 安全 性 主要 是 
从 终 剖 的 安全 做 起 的 ， 然 后 是 防火 墙 ， 现 在 要 集成 进 路 由 器 了 。 这 是 个 很 好 的 趋势 ， 只 
有 网 络 中 间 的 中 转 设 备 〈 至 少 要 在 各 网 络 的 入 口 设备 上 ) 具备 安全 能 力 ， 安 全 问题 才 有 
可 能 得 到 解决 。 安 全 功能 的 转移 ， 给 测试 工作 带 来 很 多 新 的 课题 ， 如 安全 和 性 能 之 间 如 
何平 衡 等 。 这 个 发 展 趋势 是 必然 的 ， 也 是 很 有 挑战 性 的 ， 目 前 还 有 待 深入 地 研究 。 


10.1.2 网络 测试 意义 


网 络 是 信息 系统 信息 共享 、 信 息 传递 的 基础 。 建 立 邑 效 、 稳 定 、 安 全 、 可 轧 、 互 操 
作 强 、 可 预测 、 可 控 的 网 络 是 网 络 研究 的 最 终 目 标 ， 而 网 络 测试 是 获得 网 络 行为 第 一 手 
指标 参数 的 有 效 手段 。 

随 着 用 户 对 网 络 依赖 程度 的 增加 ， 网 络 的 正常 运行 变 得 越 来 越 重要 ， 用 户 对 网 络 可 
用 性 、 稳 定性 、 响 应 性 (运行 效率 ) 等 提出 了 越 来 越 高 的 要 求 。 网 络 应 用 系统 越 多 ， 网 
络 的 功能 系统 越 复 杂 ， 出 现 问题 所 带 来 的 损失 也 就 越 大 ， 同 络 性 能 的 同 古 规 线 公 汪 和 企 
业 生 产 效率 的 提高 ， 并 影响 到 客户 服务 。 

导致 网 络 应 用 性 能 降低 的 因素 是 多 方面 的 ,而 网 络 测试 正 是 一 种 可 以 有 效 提高 网 络 
系统 及 网 络 应 用 运行 质量 的 方法 ， 在 测量 和 测试 的 基础 上 ， 建 立 网 络 行为 模型 ， 并 用 模 
拟 仿真 的 方法 建立 理论 到 实际 的 桥梁 ， 是 理解 网 络 行为 的 有 效 途 径 。 


10.1.3 ”网 络 全 生命 周期 测试 策略 


网 络 建设 生命 周期 可 分 为 三 个 阶段 ， 即 网 络 规 划 设 计 阶段 、 网 络 实施 阶段 以 及 网 络 
与 应 用 系统 集成 阶段 。 其 中 规划 设计 阶段 主要 的 测试 目的 是 利用 网 络 仿真 技术 测试 设计 
方案 ， 以 及 对 网 络 设备 进行 评估 测试 ， 为 网 络 选 型 提供 依据 ， 网 络 实施 阶段 的 主要 测试 
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目的 是 保证 系统 可 用 性 和 稳定 性 ， 网 络 与 应 用 系统 集成 阶段 的 主要 测试 目的 是 为 了 保证 
应 用 系统 在 网 络 平台 上 的 性 能 。 

网 络 测试 贯穿 着 整个 网 络 建设 生命 周期 。 

1， 规划 设计 阶段 

对 于 复杂 的 网 络 系统 ， 设 计 新 网 络 、 增 加 新 网 段 、 对 已 有 网 段 进行 修改 、 网 络 服务 
或 网 络 应 用 升级 等 都 需要 规划 设计 ， 提 出 需求 说 明 书 、 验 证 新 产品 、 设 计 网 络 拓扑 结构 
等 都 是 规划 设计 的 内 容 。 在 此 阶段 ， 一 方面 可 以 采用 网 络 仿真 的 方法 ， 评 估 网 络 系统 规 
划 设计 是 否 合理 、 是 否 满足 应 用 系统 的 运行 需求 ， 从 而 给 业主 和 设计 人 员 提 供 合理 的 规 
划 建 议 。 另 一 方面 通过 测试 评估 选择 网 络 设备 ， 优 化 网 络 配置 ， 并 在 模拟 实际 网 络 运行 
的 情况 下 进行 性 能 、 稳 定性 、 互 操作 性 测试 。 通 过 上 述 测试 ， 有 利于 使 网 络 规划 设计 人 
员 更 深入 地 了 解 产 品 设备 性 能 和 设备 间 的 互 操 作 性 ， 检 验 网 络 能 否 满足 设计 所 需 的 全 部 
功能 ， 还 有 利于 预测 购买 设备 等 的 预算 以 及 进行 商务 谈判 。 

2， 网 络 实施 阶段 

进行 网 络 质量 测试 ， 包 括 吞 吐 量 、 包 转发 率 、 丢 包 率 等 。 在 网 络 实施 阶段 ， 必 须 考 
虑 网 络 的 可 用 性 ， 即 网 络 是 否 连通 、 各 项 网 络 性 能 是 否 达到 规划 的 设想 和 设计 质量 要 求 
等 。 同 时 ， 实 施 阶段 的 网 络 质量 测试 结果 也 为 今后 网 络 应 用 系统 开发 提供 了 网 络 性 能 基 
准 值 。 在 最 终 系 统 开发 完成 后 ， 如 果 网 络 应 用 程序 的 使 用 效果 不 是 很 理想 ， 实 施 阶段 测 
” 试 得 到 的 网 络 基准 ， 将 有 助 于 定位 故障 是 出 现在 应 用 系统 上 还 是 网 络 环境 中 。 

3. 网 络 与 应 用 系统 集成 阶段 : 

此 阶段 主要 是 指 应 用 系统 的 开发 ， 在 开发 完成 且 经 过 一 定 的 功能 和 性 能 测试 ， 证 实 
运行 基本 稳定 后 ， 将 程序 应 用 到 网 络 上 进行 网 络 级 测试 ， 考 察 多 用 户 并 发 访问 性 能 、 系 
统 响 应 时 间 、 应 用 对 网 络 资源 的 占用 情况 等 。 


10.2 网络 仿真 技术 


10.2.1 网 络 仿真 技术 概述 


网 络 仿真 技术 有 时 也 称 为 网 络 模拟 技术 或 者 网 络 预测 技术 。 
近年 来 ， 随 孝 网 络 结构 日 趋 复杂 ， 网 络 规模 日 趋 庞大 ， 新 的 网 络 技术 层出不穷 ， 网 
络 的 应 用 也 越 来 越 多 样 化 。 一 方面 ， 人 们 开发 出 各 种 新 的 协议 和 算法 ， 以 满足 如 服务 质 


” 重 、 组 播 传输 、 安 全 、 移 动 网 络 、 策 略 管理 等 新 的 需求 。 设 计 和 评估 这 些 协 议和 算法 涉 


及 许多 问题 ， 尽 管 实验 室 中 的 小 规模 评价 和 大 范围 地 在 实验 床 等 真实 环境 下 进行 实际 试 
验 都 很 有 价值 ， 但 是 每 一 种 都 有 很 大 的 局 限 性 ， 缺 乏 灵 活性 、 扩 展 性 ， 并 且 成 本 太 高 。 
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为 一 方面 ， 由 于 网 络 的 快速 增长 而 导致 的 扩展 性 和 异 构 性 ， 对 现在 的 协议 机 制 和 相关 的 
设计 方法 提出 了 挑战 。 在 这 种 情况 下 ， 网 络 仿 真 作为 一 种 新 的 网 络 研究 和 网 络 规划 设计 
技术 应 运 而 生 ， 无 论 对 于 网 络 协 议 的 设计 研究 ， 还 是 网 络 规 划 设 计 ， 网 络 的 仿真 研究 日 
冀 显 示 出 其 重要 意义 。 

网 络 仿真 技术 是 一 种 通过 建立 网 络 设备 、 链 路 和 协议 模型 , 并 模拟 网 络 流量 的 传输 ， 
从 而 获取 网 络 设计 或 优化 所 和 需要 的 网 络 性 能 数据 的 仿真 技术 。 通 常 ， 网 络 仿真 都 是 在 计 
算 机 中 构造 虚拟 的 环境 来 反映 现实 的 网 络 环境 ， 通 过 数学 方法 或 者 动态 蒙特 卡 罗 方法 来 
模拟 现实 中 的 网 络 行为 ， 从 而 有 效 地 提高 网 络 规划 和 设计 的 可 靠 性 和 准确 性 ， 明 显 地 降 
低 网 络 投资 风险 ， 减 少 投资 浪费 。 


10.2.2 网 络 仿真 的 技术 原理 


网 络 仿真 是 一 种 利用 数学 建 模 和 统计 分 析 的 方法 模拟 网 络 行 为 ， 从 而 获取 特定 的 网 
络 特性 参数 的 技术 。 数 学 建 模 包 括 网 络 建 模 (网 络 设 备 、 通 信和 链 路 等 ) 和 流量 建 模 两 个 
部 分 。 模 拟 网 络 行为 是 指 模拟 网 络 流量 在 实际 网 络 中 传输 和 交换 的 过 程 。 网 络 模拟 获取 
的 网 络 特性 参数 包括 网 络 全 局 性 能 统计 量 、 网 络 节点 的 性 能 统计 重 、 网 络 链 路 的 流量 和 
延迟 等 ， 由 此 既 可 以 获取 茶 些 业务 层 的 统计 数据 ， 也 可 以 得 到 协议 内 部 的 某 些 特殊 的 参 
数 的 统计 结果 。 

建 模 中 最 基本 的 概念 就 是 同等 性 。 建 模 的 过 程 实际 上 是 将 实际 的 系统 映射 到 仿真 环 
境 中 ， 仿 页 环境 对 实际 系统 的 通 真 程度 ， 直 接 影 啊 仿 其 结果 的 有 效 性 。 但 是 由 于 建 模 本 
身 的 复杂 性 ， 仿 其 系统 只 能 从 某 些 方面 去 模拟 实际 系统 的 行为 。 因 此 这 里 的 同等 性 并 不 
是 指 仿真 系统 和 实际 系统 的 等 同 ， 而 是 指 某 些 方面 、 茶 些 层次 反映 实际 的 系统 。 具 体 的 
同等 性 依赖 建 模 人 员 的 定义 。 在 通信 网 络 和 分 布 式 系统 中 包含 了 从 底层 通信 硬件 到 商 层 
决策 软件 涉及 的 多 种 技术 ， 为 了 对 系统 的 性 能 和 行为 进行 有 效 的 预测 ， 一 个 成 功 的 系统 
建 模 要 能 够 充分 反映 这 些 子 系统 及 子 系统 的 交互 。 由 于 子 系统 及 其 每 一 层 都 有 很 大 差别 ， 
因此 对 系统 建 模 一 般 采 用 多 层次 建 模 的 方法 ， 再 建立 建 模 域 与 实际 系统 的 对 应 关系 。 

网 络 仿真 采用 基于 包 的 建 模 机 制 来 模拟 实际 物理 网 络 中 包 的 流动 ， 包 插 在 网 络 设 备 
间 的 流动 和 网 络 设 备 内 部 的 处 理 过 程 ， 模 拟 实际 网 络 协议 中 的 组 包 和 拆 包 的 过 程 ， 可 以 
生成 、 编 辑 任何 标准 的 或 定义 的 包 格式 ， 利 用 调试 功能 ， 还 可 以 在 模拟 过 程 中 察看 任何 
特定 包 的 包头 (Header〉 和 净 荷 (Payload) 等 内 容 。 


10.2.3 ”网 络 仿真 技术 应 用 


1. 网 络 仿真 在 网 络 规 划 设 计 中 的 应 用 
。 网 络 仿 黄 能够 为 网 络 的 规划 、 设 计 提 供 可 靠 的 定量 依据 。 
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网 络 仿真 技术 能 够 迅速 地 建立 起 现 有 网 络 的 模型 ， 并 能 够 方便 地 修改 模型 并 进行 仿 
真 ， 这 使 得 网 络 仿真 非常 适用 于 预测 网 络 的 性 能 ， 回 答 “what…if…” 这 样 的 问题 。 例 
如 :“ 如 果 网 络 扩容 ， 骨 干 中 继 链 路 带宽 需要 扩大 多 少 ”“ 如 果 网 络 上 增设 新 的 业务 ， 对 
网 络 性 能 有 什么 影响 ,网络 上 的 哪些 链 路 或 网 络 设备 需要 升级 和 改造 ”““ 如 果 网 络 拟 采用 
新 的 技术 升级 ， 网 络 的 性 能 会 有 多 大 幅度 的 改善 ， 这 种 改善 与 投入 相 比 是 否 值 得 ， 同 时 
新 技术 的 引进 是 否 会 带 来 负面 影响 ”。 

。 网络 仿 真能 够 验证 实际 方案 或 比较 多 个 不 同 的 设计 方案 。 

在 网 络 规划 设计 过 程 中 经 常 出 现 多 个 不 同 的 设计 方案 ， 它 们 往往 各 有 优 缺 点 ， 很 难 
作出 正确 的 选择 。 因 此 如 何 进 行 科 学 的 比较 和 取舍 往往 是 网 络 设计 者 们 感到 头疼 的 事 。 
网 络 仿真 能 够 通过 为 不 同 的 设计 方案 建立 模型 ， 进 行 模 拟 ， 获 取 定 量 的 网 络 性 能 预测 数 
据 ， 为 方案 的 验证 和 比较 提供 可 靠 的 依据 。 这 里 所 指 的 设计 方案 可 以 是 网 络 拓扑 结构 、 
路 由 设计 、 业 务 配 置 以 及 流量 规划 等 。 

2. 网 络 仿真 在 企业 网 络 管理 和 优化 中 的 应 用 : 

。 大 中 型 企业 的 网 络 具有 复杂 的 网 络 结构 和 协议 配置 ， 网 络 仿真 工具 可 以 辅助 企 

业 的 网 络 管理 人 员 管 理 其 网 络 , 而 且 网 络 仿 真 往往 具有 很 好 的 开放 性 和 互联 性 ， 
可 以 和 当前 很 多 流行 的 网 络 管理 和 监控 软件 协同 进行 工作 。 

。 企业 业务 通过 网 路 进行 传输 ， 应 用 对 网 络 的 可 靠 性 以 及 有 效 性 具有 较 强 的 依赖 
性 ， 在 企业 业务 达 不 到 服务 质量 的 要 求 时 ， 如 网 上 交易 、 数 据 库 等 业务 响应 时 
间 不 满足 性 能 需求 ， 仿 真 器 可 以 捕捉 重要 的 流量 进行 分 析 ， 从 业务 、 网 络 、 服 

”” 务 器 等 方面 找 出 瓶颈 。 

。 仿真 器 通过 对 整个 业务 层 、 流 量 的 模拟 ， 能 够 有 效 地 查 出 业务 配置 中 产生 的 错 
误 ， 例 如 某 服务 器 配置 不 好 ， 易 被 黑客 攻击 以 及 某 些 业务 的 参数 配置 不 合适 等 
情况 。 

。 网络 模 拟 系统 可 以 模拟 实际 网 络 中 的 各 种 故障 ， 如 链 路 中 断 ， 服 务 器 重启 等 情 
况 。 因 此 对 于 可 能 出 现 的 故障 ， 通 过 模拟 ， 可 以 知道 在 这 种 情况 下 用 户 上 网 会 
受到 怎样 的 影响 ， 路 由 协议 需要 多 长 时 间 收 敛 ， 路 由 跳 数 是 否 会 增加 太 多 ， 备 
用 链 路 的 带宽 是 否 足 够 等 。 

。 通常 新 增 业 务 和 要 选择 适当 的 网 络 做 测试 ， 这 样 成 本 很 高 而 且 具 有 一 定 的 风 
险 。 网 络 模拟 集成 了 非常 多 最 新 的 技术 和 应 用 (如 MPLS、MULTICAST 等 )， 
因此 可 以 模拟 开展 新 业务 和 增加 新 用 户 时 的 网 络 状况 , 分 析 可 能 对 网 络 造成 的 
影响 。 

。 网 络 模拟 的 流量 模型 包含 了 业务 量 的 信息 ， 因 此 它 可 以 用 来 预测 不 同业 务 的 增 
长 规律 和 在 网 络 中 所 占 的 比重 , 这 对 网 络 规划 设计 和 维护 都 有 重要 的 参考 价值 。 
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3. 网 络 仿真 在 网 络 研发 中 的 应 用 
。 对 于 从 事 新 协议 研究 的 研发 机 构 ， 如 军 方 和 政府 的 研发 机 构 、 大 专 院 校 等 ， 网 
络 仿真 可 以 有 效 地 模拟 协议 的 各 种 行为 细节 ， 构 建 接近 真实 有 代表 性 的 网 络 环 
境 和 业务 ， 使 得 测试 结果 能 够 公正 地 评判 新 协议 的 性 能 。 
。 对 于 大 型 通信 设备 制造 商 ， 网 络 仿真 工具 被 作为 其 网 络 设备 、 协 议 以 及 应 用 开 
发 的 工具 。 
4. 仿真 的 网 络 预测 功能 
考虑 到 电子 商务 系统 、 电 子 政务 系统 等 未 来 发 展 的 扩展 性 ， 预 测 网 络 流 重 的 变化 、 
网 络 结构 的 变化 ， 对 用 户 系统 的 影响 非常 重要 。 根 据 规 划 数 据 进行 预测 并 及 时 提供 网 络 
性 能 预测 数据 。 我 们 利用 网 络 仿真 工具 可 以 作 到 :设置 服务 水 平 、 完 成 日 常 网 络 容量 规 
划 、 离 线 测试 网 络 、 网 络 失效 和 容量 极限 分 析 ， 完 成 日 常 故障 诊断 、 预 测 网 络 设备 迁移 
和 网 络 设备 升级 对 整个 网 络 的 影响 。 
通过 从 网 络 管理 软件 获取 网 络 拓扑 结构 ， 从 现 有 的 流 最 监控 软件 获取 流量 信息 〈 若 
没有 这 类 软件 可 人 工 生成 流量 数据 ), 可 以 得 到 现 有 网 络 的 基本 结构 。 在 基本 结构 的 基础 
上 可 根据 网 络 结构 的 变化 、 网 络 流 盘 的 变化 生成 报告 和 图 表 ， 说 明 这 些 变化 是 如 何 影响 
网 络 性 能 的 。 网 络 仿真 工具 可 以 提供 如 下 功能 : 根据 预测 的 结果 帮助 用 户 及 时 升级 网 络 ， 
避免 因 关 键 设备 超过 利用 阀 值 导致 系统 性 能 下 降 ， 判 断 哪个 网 络 设备 需要 升级 ， 这 样 可 
减少 网 络 延迟 、 避 免 网 络 瓶 颈 ， 根 据 预 测 的 结果 避免 盲目 的 网 络 升级 。 


10.2.4 ”网 络 仿真 软件 


1。OPNET 网 络 仿真 软件 

(1) OPNET 介绍 

OPNET 公司 起 源 于 麻 省 理工 学 院 (MIT)，1987 年 该 公司 发 布 了 其 第 一 个 商业 化 的 
网 络 性 能 仿真 软件 ， 提 供 了 具有 重要 意义 的 网 络 性 能 优化 工具 ， 使 得 具有 预测 性 的 网 络 
性 能 管理 和 仿真 成 为 可 能 。 经 过 多 年 的 发 展 ，OPNET 公司 由 于 其 出 众 的 技术 ， 成 为 当前 
业界 领先 的 智能 化 网 络 仿真 、 分 析 、 管 理解 决 方案 的 提供 商 ，OPNET 产品 也 被 大 型 通信 
设备 制造 商 、 大 中 型 企业 、 电 信 运 营 商 、 军 方 和 政府 方 的 研发 机 构 、 大 专 院 校 等 广泛 采 
用 ， 应 用 于 协议 及 应 用 开发 、 网 络 设 备 开 发 、 网 络 规划 设计 、 网 络 管理 和 故障 诊断 等 
领域 。 

OPNET 的 产品 包括 Modeler、ITGum、SPGum、WDMGuru 以 及 OPNET Develo- 
pment kit。 

se Modeler 主要 面向 设计 和 研究 通信 网 络 、 设 备 、 协 议和 应 用 ， 支 持 所 有 网 络 类 型 

和 技术 。Modeler 为 开发 人 员 提 供 了 建 模 、 仿 真 以 及 分 析 的 集成 环境 ， 大 大 减轻 
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了 编程 以 及 数据 分 析 的 工作 量 。 面 向 对 象 的 建 模 方 法 和 图 形 化 的 编辑 器 反映 了 
实际 网 络 和 网 络 组 件 的 结构 ， 因 此 实际 的 系统 可 以 直观 地 映射 到 模型 中 。 

IT Guru 是 OPNET 公司 开发 的 一 个 核心 网 络 仿真 软件 包 。 专 门 为 网 络 专业 技术 
人 员 和 管理 人 员 进 行 网 络 规 划 、 设 计 、 建 设 以 及 运营 提供 决策 支持 。IT Gum 是 
一 个 功能 齐全 、 性 能 优良 的 网 络 预测 及 分 析 工 具 软 件 包 。 它 的 主要 作用 是 快速 
预测 网 络 上 的 任何 变化 (如 增加 新 的 用 户 、 向 新 的 网 络 技术 转移 、 推 出 新 的 网 
络 应 用 等 )， 对 网 络 服务 等 级 (如 性 能 ) 等 的 影响 ， 指 出 可 能 存在 的 瓶颈 之 处 并 
提出 解决 的 多 种 方案 。 . 

SP Gum 面向 电信 运营 等 的 智能 化 网 络 管理 、 规 划 以 及 优化 ， 是 一 个 能 够 辨识 整 
个 网 络 的 独特 软件 产品 ， 包 括 网 络 中 的 路 由 器 、 交 换 机 、 协 议 、 服 务 器 以 及 各 
种 应 用 业务 。 内 蕊 于 SP Gum 的 智能 代表 了 当今 最 新 最 先进 的 网 络 故障 诊断 、 
操作 验证 、 规 划 以 及 网 络 设计 技术 。 

WDM Gum 是 一 个 先进 的 网 络 规划 解决 方案 ， 使 得 业务 提供 商 和 网 络 设备 制造 
商 设计 出 健壮 的 且 节 约 成 本 的 光纤 网 络 ， 并 为 测试 产品 提供 了 一 个 虚拟 的 光纤 
网 络 环境 。 WDM Gum 的 多 层 网 络 染 构 ， 大 量 的 技术 支持 以 及 当前 最 新 的 优化 
和 设计 功能 使 其 成 为 网 络 设 计 人 员 和 规划 人 员 的 得 力 助 手 。 z 

OPNET 附加 功能 模块 ， 包 括 流 分 析 模 块 (FlowAnalysis ) 、 网 络 医生 模块 
(NetDoctor)、 多 提供 商 导 入 模块 (Multi-Vendor Import)、MPLS 模块 等 。 
OPNET 开发 包 (ODK，OPNET Development Kit) 和 NetBizODK 是 一 个 更 底层 
的 开发 平台 ， 其 中 ODK 为 开发 时 环境 ，NetBiz 为 运行 时 环境 ， 可 以 用 于 设计 
用 户 自 定制 的 解决 方案 ， 定 制 用 户 的 界面 ， 并 且 ODK 提供 了 大 量 的 函数 , 用 于 
网 络 规划 和 优化 。 


从 核心 技术 来 说 , OPNET 的 全 线 产品 都 是 基于 Modeler 的 核心 技术 演化 和 发 展 而 来 
的 ， 每 个 产品 针对 不 同 的 用 户 群 作 出 了 一 些 特殊 的 调整 和 修改 。 从 功能 上 来 说 ，ODK 的 
功能 最 强大 ， 它 不 仅 包含 了 Modeler 的 建 模 功 能 ， 还 包含 了 界面 开发 和 网 络 设计 的 库 函 
数 ,ITGuru 从 功能 上 看 是 Modeler 的 一 个 子 集 , 简单 地 说 , 是 不 具备 编程 功能 的 Modeler。 
而 SPGum 也 是 ITGuru 的 一 个 超 集 ， 它 具备 了 ITGuru 的 所 有 功能 ， 并 且 在 协议 的 支持 
上 比 ITGuru 更 加 全 面 。 

(2) OPNET 技术 特点 

OPNET 能 够 准确 地 分 析 复 杂 网 络 的 性 能 和 行为 ， 在 网 络 模型 中 的 任意 位 置 都 可 以 
插入 标准 的 或 用 户 指定 的 探头 ， 以 采集 数据 和 进行 统计 。 通 过 探头 得 到 的 仿真 输出 可 以 
以 图 形 化 显示 、 数 字 方 式 观 察 或 者 输出 到 第 三 方 的 软件 包 中 去 。 此 外 ， 一 系列 仿真 运行 
的 结果 被 自动 整理 到 一 个 单一 的 OPNET 输出 文件 中 ， 以 便于 比较 分 析 ( 比 如 相对 于 网 
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络 负载 的 端 对 端 延 迟 )。 
OPNET 模型 分 为 Network、Node 和 Process 三 个 层次 ，Network 模型 是 最 高 层次 的 
模型 ， 由 网 络 节 点 (Node) 和 连接 网 络 节点 的 通信 链 路 〈Link) 组成， 由 该 层 模型 可 直 
接 建 并 起 仿真 网 络 的 拓扑 结构 。Node 模型 由 协议 Module 和 连接 Module 的 各 种 连接 组 
成 , 如 物理 接口 Module、MAC Module JP Module、Route Module、TCP Module、Application 
Module、Packet Stream、 Statistic Wires 等 。 每 个 Module 对 应 一 个 或 多 个 Process 模型 ， 
Process 模型 由 有 限 状态 机 来 描述 ， 有 限 状 态 机 用 C 语言 编写 。 用 户 可 以 在 上 述 三 个 层次 
的 任何 地 方 切入 编程 ， 建 立 所 需 的 Network、Node 或 Process 模型 。 
OPNET 由 厂家 提供 的 标准 库 模块 有 :; x.25、ATM、FDDI、Frame Relay、Ethemet 
(10M、 100M、 1000M)、 Token Ring、 TCP/IP, UDP、 RIP、 OSPF、 LAPB、 TP4、 DQDB. 
HSSB、 J1850、 STB、 CATV、 SNA、 AMPS、 VSAT、Circuit Switching、Client-Sever 等 。 
第 三 方 提供 的 库 模 块 有 地 形 仿真 库 、 大 气 仿真 库 、SUN 网 管 接口 、HP 网 管 接口 等 。 
OPNET 允许 用 户 使 用 FSM (有 限 状 态 机 〉 开 发 自己 的 协议 ， 并 提供 了 丰富 的 C 语 
言 库 函数 。OPNET 还 提供 EMA (外 部 模块 访问 ) 接口 ， 方 便 用 户 进行 二 次 开发 。 
OPNET 支持 面向 对 和 象 的 调试 。 对 网 络 拓 扑 、 节 点 /设备 的 体系 结构 、 过 程 逻辑 ( 状 
态 机 )、 传 输 等 不 同 层次 的 、 不 同类 型 的 模型 ， 都 有 专门 的 、 符合 人 们 习惯 的 工具 来 进行 
编辑 和 浏览 ， 而 不 像 某 些 软件 那样 从 上 到 下 全 部 用 框图 表示 。 
网 络 设备 厂家 (HP、Cisco、3Com、Xylan 等 ) 提供 的 模型 参数 全 部 基于 哈佛 测试 
实验 室 (Harvard Test Lab) 的 测试 结果 。 
OPNET 支持 SUN、HP、IBM.、SGI 工作 站 和 一 般 PC 等 硬件 设备 , 可 以 运行 在 UNIX、 
Windows NT 等 操作 系统 平台 上 。 
(3) OPNET 的 基本 使 用 
Modeler 进行 仿真 的 一 般 流 程 为 建立 模型 、 运 行 仿真 到 收集 最 后 结果 。 如 图 10-1 
所 示 : 
e 理解 系统 。 这 一 步 十 分 重要 ， 如 果 不 能 正确 地 理解 要 模拟 的 系统 对 象 ， 就 无 从 
建 模 。 精 确 地 理解 系统 成 为 整个 建 模 的 第 一 个 环节 ， 使 用 者 对 系统 理解 的 精确 
性 直接 影响 到 所 建 模型 的 精确 性 。 | 

e。 理解 仿真 目的 。 这 里 体现 了 在 运行 仿真 后 ， 仿 真 的 结果 能 帮助 使 用 者 解决 什么 
问题 ， 例 如 一 些 常 见 的 问题 : 如 果 将 以 太 网 Hub 换 成 FDDI 的 Hub， 理 吐 量 会 
提高 多 少 ? 如 果 用 户 数 增加 一 倍 ， 对 业务 的 响应 时 间 会 有 什么 影响 ? 

。 选择 需要 建 模 的 方面 。 从 前 面 的 问题 中 得 到 建 模 的 目标 ， 如 ; 求 某 个 接收 机 的 

吞吐 量 ; 测量 修改 某 条 链 路 对 重 传 率 的 影响 ， 确 定 系统 工作 在 什么 样 的 负载 下 
开始 不 稳定 。 
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定义 输入 和 输出 。 输 入 可 能 是 固定 的 (如 网 络 的 拓扑 结构 )， 也 可 能 是 变量 (如 
业务 产生 源 的 业务 产生 率 )。 研 究 一 个 系统 的 时 候 ， 一 般 是 保持 一 些 变 量 不 变 ， 
然后 在 一 定 范围 内 变化 一 两 个 变量 ， 接 着 就 是 确定 输出 内 容 (如 端 到 端的 时 延 ， 
吞吐 量 等 ) 以 及 显示 这 些 和 输出 最 好 的 方法 〈 图 形 、 表 、 动 画 等 )。 

确定 系统 模型 。 不 同 的 仿真 软件 可 以 从 不 同 的 地 方 来 描述 使 用 者 的 系统 模型 。 
做 好 这 一 步 ， 逢 要 了 解 使 用 者 的 仿真 软件 能 提供 的 特性 ， 了 解 如 何 使 用 这 些 特 
性 来 描述 自己 的 系统 模型 。 

确定 输入 ， 运 行 仿真 。 大 多 数 变 量 保持 不 变 ， 而 只 是 变动 其 中 的 一 个 或 两 个 变 
量 。 一 般 来 说 ， 变 动 的 范围 是 可 以 事先 知道 的 。 、 

系统 结果 是 否 精 确 。 结 果 的 容错 性 和 精确 性 都 需要 进行 验证 。 一 般 来 说 ， 需 要 
对 输出 做 出 一 些 预测 ， 然 后 对 预测 的 结果 和 实际 的 仿真 结果 进行 比较 。 
结果 是 否 足够 详细 。 根 据 怖 要 ， 要 么 适当 地 增 大 输入 的 范围 ， 要 么 将 输入 限制 
在 一 个 较 小 的 范围 。 
结果 是 否 稳定 。 如 果 仿 真 结果 仍然 在 增加 或 者 减少 ， 并 没有 达到 一 个 稳定 的 状 
态 ， 自 要 重新 运行 仿真 ， 使 得 仿真 能 够 达到 稳定 状态 。 如 果 一 个 模型 不 能 够 达 
到 稳定 的 状态 ， 也 就 说 明 仿真 系统 本 身 不 是 很 稳定 。 


否 


隐 10-1 OPNET 仿 趟 流程 
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” 2. NS 网 络 仿真 软件 

(1) NS 介绍 

NS 起 源 于 Real 网 络 模拟 器 ， 最 初 是 为 了 研究 分 组 交换 数据 网 络 中 的 流量 控制 和 拥 
塞 控制 方案 的 动态 性 。 它 提供 给 用 户 一 种 方法 来 描述 网 络 并 观察 它们 的 行为 ， 使 用 C 语 
言 编写 ， 并 提供 源 代码 便于 用 户 可 以 根据 他 们 自己 的 目的 修改 模拟 器 。 在 此 基础 上 ， 它 
是 由 劳伦斯 伯克利 国家 实验 室 (LBL: Lawrence Berkeley Labs)、 美 国 施乐 公司 的 帕 洛 阿 
尔 托 研究 中 心 (Xerox PARC: Palo Alto Research Center)、 加 州 大 学 伯克利 分 校 (UCB: 
University of Califomia, Berkelay) 和 南 加 州 大 学 /科学 悄 报 研究 所 (USC/ISI: University of 
Southem California / Institute for Scientific Information) 等 合作 ， 由 DARPA 资助 的 VINT 
工程 研究 得 出 的 一 个 仿 其 工具 。 

NS 基于 事件 驱动 模型 ， 支 持 协议 库 ， 广 泛 采 用 了 开放 的 体系 结构 ， 用 户 很 容易 根 
. 据 自 己 的 需要 开发 新 协议 。 目 前 NS 支持 的 协议 基本 包括 了 TCP/IP 协议 域 的 所 有 协议 : 
TCP 的 各 种 版 本 、UDP、RTP、Multicast、 无 线 、 移 动 等 。NS 的 另外 一 个 显著 特点 是 允 
许 将 实际 网 络 流量 引入 到 网 络 仿真 环境 ， 这 样 在 某 种 程度 上 起 到 了 类 似 测试 床 的 作用 ， 
从 而 可 以 在 一 个 接近 真实 的 环境 中 测试 协议 的 性 能 。NS 是 一 个 面向 对 象 的 仿真 器 ， 由 
编译 和 解释 两 个 层次 组 成 : 编译 层次 包括 C++ 类 库 ， 解 释 层 次 包括 对 应 的 Otcl 类 。 用 户 
以 Otcl 解释 器 作为 前 台 使 用 NS。NS 内 大 部 分 类 是 TclObject 的 子 类 ， 用 户 在 解释 器 环 
境 创建 新 仿真 对 象 ， 然 后 镜像 到 对 应 的 编译 层次 对 象 。 这 样 ， 在 不 影响 效率 的 前 提 下 ， 
通过 Otcl 解释 器 来 使 用 NS 提供 极 大 的 灵活 性 和 方便 性 。 

(2) NS 的 技术 特点 

NS 的 核心 部 分 是 一 个 离散 事件 模拟 引擎。NS 中 有 一 个 “调度 器 ”(Scheduler) 类 ， 
负责 记录 当前 的 时 间 ， 调 度 网 络 事件 队列 中 的 事件 ， 并 提供 函数 产生 新 事件 ， 指 定 事 件 
发 生 的 时 间 。 有 了 这 个 离散 事件 模拟 引擎 ， 原 则 上 用 户 可 以 对 任何 系统 进行 模拟 ， 而 不 
限于 通信 网 络 系统 ， 用 户 可 以 自己 完成 对 所 要 研究 的 系统 的 建 模 工作 ， 编 写 各 种 事件 的 
处 理 代码 ， 然 后 利用 这 个 离散 事件 模拟 器 来 完成 对 这 个 模型 的 模拟 。 

针对 网 络 模 拟 ，NS 已 经 预先 作 了 大 量 的 模型 化 工作 ，NS 对 网 络 系统 中 一 些 通用 的 
实体 已 经 进行 了 建 模 ， 例 如 链 路 、 队 列 、 分 组 、 节 点 等 ， 并 用 对 象 来 实现 了 这 些 实 体 的 
特性 和 功能 ， 这 就 是 NS 的 构件 库 。 用 户 可 以 充分 利用 这 些 已 有 的 对 象 ， 进 行 少 一 的 扩 
展 ， 组 合 出 所 要 研究 的 网 络 系统 的 模型 ， 然 后 进行 模拟 ， 从 而 减轻 了 进行 网 络 模拟 研究 
的 工作 量 ， 提 高 了 效率 。NS 的 构件 库 所 支持 的 网 络 类 型 包 插 广域网、 局 域 网 、 移 动 通 
信 网 、 卫 星 通信 网 等 ， 所 支持 的 路 由 方式 包括 层次 路 由 、 动 态 路 由 、 多 播 路 由 等 。 提 供 
了 跟踪 和 监测 的 对 象 ， 也 可 以 把 网 络 系统 中 的 状态 和 事件 记录 下 来 以 便 分 析 。 还 有 数学 
方面 的 支持 ， 包 括 随机 数 产生 、 随 机 变量 、 积 分 等 。 
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NS 构件 库 是 用 两 种 面向 对 象 的 语言 编写 的 :， C++ 和 Otcl。 其 中 Otcl 是 MIT 开发 的 
ObjectTcl， 即 Tel 的 面向 对 象 的 扩展 (Tcl 的 全 称 是 Toolkit command language， 是 一 种 灵 
活 的 、 交互 式 的 脚本 语言 ,Otcl 则 是 在 Tel 中 加 入 了 类 、 实 例 、 继承 等 面向 对 象 的 概念 )。 
NS 中 的 构架 通常 作为 一 个 C++ 类 来 实现 ， 同 时 ， 有 一 个 Otcl 类 与 之 相对 应 。 这 种 方式 
被 称 为 分 裂 对 象 模型 ， 构 件 的 主要 功能 在 C++ 中 实现 ，Otcl 中 的 类 主要 提供 C++ 对 象 面 
向 用 户 的 接口 。 用 户 通 过 编写 Otcl 脚本 来 对 这 些 对 象 进行 配置 、 组 合 ， 描 述 模 拟 过 程 ， 
调用 NS 完成 模拟 。 这 种 方式 提高 了 执行 的 性 能 和 模拟 的 效率 ， 增 强 了 构件 库 的 可 扩展 
性 和 可 组 合 性 。 : 

(3) NS 网 络 仿 真 的 过 程 

NS 进行 网 络 仿真 的 方法 和 一 般 过 程 如 下 

@ 进行 模拟 前 ， 首 先 要 分 析 模 拟 涉 及 哪个 层次 。NS 仿真 分 两 个 层次 : 一 个 是 基于 
Otcl 编程 的 层次 ， 利 用 NS 已 有 的 网 络 元 素 实现 模拟 ， 无 十 对 NS 本 身 进行 任何 修改 ， 
只 要 编写 Otcl 脚本 ; 另 一 个 层次 是 基于 C++ 和 Otcl 编程 的 层次 ， 如 果 NS 中 没有 所 需要 
的 网 络 元 素 ， 就 需要 首先 对 NS 扩展 ， 添 加 所 需要 的 网 络 元 素 。 这 需要 利用 分 裂 对 象 模 
型 ， 添 加 新 的 C++ 类 和 Otcl 类 ， 然 后 再 编写 Otcl 脚本 。 如 图 10-2 所 示 为 NS 仿 其 流程 。 


图 10-2 NS 仿 址 流程 


开始 编写 Otcl 脚本 。 站 先 配置 模拟 网 络 拓扑 结 构 ， 此 时 可 以 确定 链 路 的 基本 特 
性 ， 如 延迟 、 带 宽 和 丢失 策略 等 。 

@ 建立 协议 代理 ， 包 括 端 设 备 的 协议 绑 定 和 通信 业务 量 的 模型 的 建立 。 

4) 配置 业务 量 模型 的 参数 ， 从 而 确定 网 络 上 的 业务 流量 分 布 。 

@@ 设置 Trace 对 象 .Trace 对 象 能 够 把 模拟 过 程 中 发 生 的 特定 类 型 的 事件 记录 在 trace 
文件 中 。NS 通过 trace 文件 来 保存 整个 模拟 过 程 。 仿 真 完 成 后 ， 用 户 可 以 对 trace 文件 进 
行 分 析 研 究 。 
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编写 其 他 的 辅助 过 程 ， 设 定 模拟 结束 时 间 ， 至 此 Otcl 脚本 编写 完成 。 

(D 用 NS 解释 执行 刚才 编写 的 Otcl 脚本 。 

对 trace 文件 进行 分 析 , 得 出 有 用 的 数据 。 也 可 以 用 Nam 等 工具 观看 网 络 模拟 运 
行 的 过 程 。 

@ 调整 配置 拓扑 结构 和 业务 量 模型 ， 重 新 进行 上 述 模拟 过 程 。 


10.3 网络 质量 测试 


10.3.1 ”OSI 模型 简介 


开放 系统 互 连 参 考 模型 (OSI) 是 国际 标准 化 组 织 (ISO) 建立 的 网 络 模型 ， 具 体 描 
述 如 表 10-1 所 示 ， 它 建立 并 规范 了 一 个 网 络 体系 中 不 同 组 件 之 间 的 互 连 模式 ， 即 它 可 使 
物理 通信 方法 的 设计 独立 于 网 络 体系 中 的 协议 和 应 用 。 在 网 络 各 设备 间 的 数据 传输 过 程 
中 ， 每 一 层 都 有 各 自 的 作用 ， 并 为 相 邻 层 提供 标准 接口 。 


表 10-1 OSI 定义 的 层 横 型 


序号 | 分 层 | 功能 样 。 例 


7 Telnet、HTTP 

6 ASCII、EBCDIC、JPEG 
5 操作 系统 

4 可 对 或 不 可 对 的 传输 ， 重 传 前 的 错误 纠正 ”| TCP、UDP、SPX 

3 IP、 IPX 


| 将 位 合成 字 节 、 字 节 合成 帧 : 用 MAC 地 址 | 


2 | 双生 “和 | 访问 介质 ， 非 纠正 性 错误 检测 


ri 规定 电压 、 线 巡 和 岛 答 出 | EIS/TIA-232、 V35 


802.3/802.2、HDLC 


1 “| 物理 忆 


e。 ”物理 层 ， 物 理 层 通 过 链 路 来 传送 比特 信息 ， 定 义 了 用 户 应 用 程序 数据 如 何 转 换 
为 1! 和 0 并 在 物理 介质 中 传递 。 物 理 层 规定 了 物理 介质 的 规范 ， 例 如 电 绕 和 接 
口 规范 ， 也 规定 了 如 电压 级 别 、 数 据 速 率 、 坡 大 传输 距离 等 符 性。 通常 一 个 网 
络 内 可 以 有 好 几 种 不 同 的 物理 层 类 型 ， 甚 至 一 个 节点 也 可 能 有 多 种 不 同 的 物理 
层 类 型 ， 这 是 因为 不 同 的 技术 要 求 采用 各 自 的 物理 层 。AUI、10Base-T 和 RJ45 
均 为 该 层 中 的 规范 。 

e 数据 链 路 层 ， 数 据 链 路 层 (有 时 也 称 为 链 路 层 ) 通过 物理 链 路 来 传输 成 块 的 信 
息 。 它 主要 负责 处 理 以 下 任务 : 数据 出 错 校 验 、 协 调 共 至 媒体 的 使 用 (如 在 一 
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个 LAN 中 ) 以 及 编 址 〈 当 多 个 系统 都 可 以 访问 时 ， 如 在 某 个 LAN 中 )。 另 外 ， 
不 同 的 链 路 通常 也 有 不 同 的 数据 链 路 层 实 现 ， 而 且 ，. 同 一 个 节点 可 以 支持 几 种 
不 同 的 数据 链 路 层 协 议 ， 节 点 所 连 的 每 一 类 链 路 都 有 自己 的 协议 。 以 太 网 、 令 
牌 环 和 帧 中 继 均 为 数据 链 路 层 的 实例 。 

网 络 层 ; 网 络 层 使 得 网 络 中 的 任何 一 对 系统 间 都 可 以 相互 通信 。 一 个 全 互联 的 
网 络 是 指 其 中 的 每 一 个 节点 都 和 其 他 节点 直接 相连 ， 但 是 这 种 拓扑 结构 不 可 能 
用 于 有 很 多 节点 的 情况 。 比 较 典 型 的 情况 是 ， 网 络 层 必须 找到 一 条 通过 一 系列 
相连 节点 的 路 径 ， 且 路 径 上 的 每 一 个 节点 必须 向 适当 的 方向 转发 数据 包 。 网 络 
层 处 理 的 主要 任务 是 : 路 由 计算 、 数 据 包 的 分 段 和 重组 〈 当 网 络 中 的 不 同 链 路 
有 不 同 的 最 大 包 大 小 限制 时 ) 和 拥塞 控制 。 

传输 层 : 传输 层 在 两 个 系统 之 间 建 立 一 条 可 靠 的 通信 和 链 路 。 它 主要 处 理 一 些 由 
网 络 层 引 起 的 错误 ， 比 如 包 丢 失 和 重复 包 等 错误 ， 以 及 对 包 进 行 重新 排序 、 分 
段 〈 这 样 运输 层 用 户 就 可 以 处 理 大 的 报 文 ) 和 重 装 〈 这 样 可 以 避免 网 络 层 进行 
低 效 的 分 段 和 重 装 )。 另 外 ， 这 也 有 助 于 传输 层 在 网 络 发 生 拥 塞 时 可 以 相应 地 降 
低 发 送 数据 的 速率 。 和 

会 话 层 ; 会 话 层 提供 的 服务 超出 了 传输 层 提 供 的 简单 全 双 工 可 你 通 信 流 ， 比 如 
对 话 控 制 (实现 系统 间 的 特殊 通信 模式 ) 和 链接 (捆绑 一 组 数据 包 ， 使 得 它们 
要 么 都 发 送 ， 要 么 都 不 发 送 )。 如 HTTP 协议 可 以 使 用 多 个 TCP 连接 来 获取 一 
个 网 页 中 所 包含 的 对 象 ， 会 话 层 对 这 些 单独 的 TCP 连接 进行 应 用 协调 。 
表示 层 : 这 一 层 的 设计 目的 是 为 了 对 数据 的 表示 取得 一 致 ， 这 样 人 们 就 可 以 定 
义 自己 的 数据 结构 ， 而 不 必 担 心 比 特 / 字 节 顺序 或 者 浮 点 数 该 如 何 表 示 之 类 的 问 
题 了 。 表 示 层 为 应 用 程序 〈 在 应 用 层 中 ) 进行 数据 格式 转换 和 数据 加 解密 提供 
了 一 种 普通 的 方法 。 表 示 层 具有 转换 机 制 , 可 在 ASCII 文本 数据 格式 与 Unicode 
格式 间 转 换 ， 也 包括 图 像 文件 的 压缩 技术 ， 如 GIF 和 JPEG。 

应 用 层 ， 应 用 层 是 OSI 参考 模型 的 最 商 层 ， 它 为 最 终 用 户 提 供应 用 环境 。 应 用 
包括 文件 传输 、 虚 拟 终端 及 Web 浏览 等 ， 在 一 个 节点 上 通常 有 多 个 应 用 程序 同 
时 运行 。 


网 络 测试 指标 


在 对 物理 层 、 数 据 链 路 层 和 网 络 层 进行 测试 时 ， 如 以 太 网 ， 物 理 层 的 测试 包括 碰撞 


分 析 、 


错误 统计 和 是 否 有 随机 能 量 、 无 格式 的 帧 和 信号 回 波 等 ， 数 据 链 路 层 的 测试 包括 


流量 分 析 、 错 误 帧 〈FCS 错误 帧 、 长 帧 、 短 帧 和 延迟 碰 摘 统计 等 ， 网 络 层 的 测试 包括 
响应 时 间 测 试 、 网 络 层 协 议 分 析 、IP 路 由 分 析 等 。 
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对 网 络 设备 和 TCP/IP 网 络 的 检测 主要 包括 以 下 基本 技术 指标 。 

e 吞吐 量 (Throughput)。 

吞吐 量 是 指 被 测试 设备 或 被 测试 系统 在 不 丢 包 的 情况 下 ， 能 够 达到 的 最 大 包 转 发 速 
率 。 吞 吐 量 测试 是 在 每 一 对 端口 上 ， 以 全 线 速度 (或 测试 设置 中 规定 的 速率 ) 在 测试 设 
置 规 定 的 时 间 段 内 生成 传输 流 。 如 果 在 任何 端口 上 丢失 包 的 话 ， 就 将 负载 减少 50% 并 重 
新 开始 测试 。 然 后 ， 用 二 分 搜索 法 搜索 没有 包 技 失 发 生 时 的 地 大 速率 。 这 个 速率 就 是 被 
测试 设备 的 吞吐 量 ， 它 是 按 测 试 设 置 中 规定 的 每 一 种 包 长 度 测试 得 出 的 。 

e 于 包 率 (Packet Loss Rate )。 

通过 测量 由 于 缺少 资源 而 未 转发 的 包 的 比例 来 显示 高 负载 状态 下 系统 的 性 能 。 在 规 
定时 间 内 生成 100% 的 负载 (或 者 按 测试 设置 中 规定 的 比例 )， 在 测试 结束 时 ， 报 告 每 对 
端口 应 当 转 发 但 被 丢弃 的 包 的 百分比 。 测 试 设置 中 规定 的 每 一 种 包 长 度 都 要 进行 包 接 失 
测试 。 

e 延 时 (Latency )。 

延 时 测试 是 指 测量 系统 在 有 负载 条 件 下 转发 数据 包 所 需 的 时 间 。 在 规定 时 间 内 生成 
100% 的 负载 (或 者 技 测 试 设置 中 规定 的 比例 )。 在 测试 过 程 中 ， 测 量 每 对 端口 上 的 每 一 
个 包 的 延 时 。 对 于 存储 转发 〈Store-and-Forward) 设备 来 说 ， 测 量 的 延 时 是 指 从 输入 帧 
的 最 后 一 个 比特 达到 输入 端口 的 时 刻 ， 到 输出 帧 的 第 一 个 比特 出 现在 输出 端口 上 的 时 刻 
的 时 间 间 隔 。 对 于 直通 式 〈Cut-Through) 设备 来 说 ， 延 时 是 指 从 输入 帧 的 第 一 比特 达到 
输入 端口 的 时 刻 ， 到 输出 帧 的 第 一 比特 出 现在 输出 端口 的 时 刻 的 间隔 。 测 试 设置 中 规定 
的 每 一 种 长 度 的 包 都 要 进行 延 时 测试 。. 

。 背 对 背 性 能 〔Back-to-Back Frame )。 

背靠背 性 能 测试 是 指 通过 以 最 大 帧 速率 发 送 突 发 传输 流 ， 并 测量 无 包 丢 失 时 的 最 大 
突 发 (Burst) 长 度 (总 包 数 量 ) 来 测试 缓冲 区 容量 。 在 全 负载 条 件 下 生成 突 发 传输 流 ， 
如 果 所 有 的 包 都 得 到 转发 ， 就 增加 突 发 长 度 ， 并 重新 进行 测试 。 但 是 ， 如 果 某 一 对 端口 
上 出 现 包 丢失 ， 将 突 发 长 度 减少 一 半 并 再 次 进行 测试 。 然 后 ， 利 用 二 分 搜索 法 查找 无 包 
于 失 时 的 最 大 突 发 长 度 。 测 试 设 置 中 规定 的 每 一 种 包 长 度 都 要 进行 背 到 背 性 能 测试 。 

另外 ， 还 存在 其 他 一 些 网 络 质量 测试 的 指标 。 分 别 涉 及 TCP/IP 4 一 7 层 负载 均衡 、 
IP 语音 网 络 测试 、 宽 带 xDSL 网 络 性 能 测试 、VPN 网 络 测 试 、 路 由 测试 等 测试 项 ， 下 面 
作 一 个 简单 论述 。 

(1) TCP/P 4~7 层 负 载 均 衡 

e 连接 建立 数 ; 本 测试 以 设 定 速率 执行 TCP 连接 建立 。 通 过 改变 在 多 次 重复 测试 

中 使 用 的 速率 ， 测 试 系统 在 一 段 时 间 中 可 处 理 的 输入 TCP 连接 的 峰值 速率 。 还 
可 同时 测试 保持 TCP 连接 的 最 大 数量 。 
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。 会 话 速率 ， 本 测试 以 设 定 速率 执行 TCP 连接 建立 与 拆除 。 本 测试 检测 系统 在 一 
段 时 间 内 可 建立 和 拆除 TCP 连接 的 峰值 速率 。 

e。 ”连接 数据 ， 本 测试 检测 峰值 HTTP 速率 。 当 一 个 连接 建立 后 ， 客 户 机 与 服务 器 
之 间 就 出 现 HTTP 事务 处 理 。 这 样 就 可 以 对 基于 URL 的 交换 技术 进行 测试 ， 而 
这 项 技术 是 Web TA HTTP 请 求 的 传输 流 的 基础 。 

(2) IP 语音 网 络 测试 

测试 当 语 音 和 数据 流 经 过 被 测试 设备 时 的 语音 和 数据 流 的 包 丢 失 、 单 向 延 时 以 及 延 


时 抖动 。 此 外 ， 得 出 的 参数 还 被 用 于 为 每 条 语音 流 生成 语音 质量 评估 分 析 。 


(3) 宽带 xDSL 网 络 性 能 测试 
e。 帧 测试 。 
GD 帧 丢失 。 通过 测量 由 于 钠 少 资源 而 没有 转发 的 由 的 比例 ， 显示 给 定 负载 条 件 下 


锌 测试 设备 的 性 能 。 


@ 帧 延 时 。 测 量 每 端口 、 每 VPIVCI 的 每 个 测试 帧 的 延 时 。 

@ 吞吐 量 。 根 据 RFC 1242 和 RFC 2544 测量 网 络 吞 吐 量 。 

se。 端 到 端 下 测试 。 

端 到 端 吞吐 量 。 

@ 延 时 。 

。 ” 信 元 测试 。 

@ 信 元 丢失。 测量 ATM (异步 传输 模式 ) 信 元 的 丢失 率 。 在 测试 中 ， 帧 与 信和 元 的 


长 度 相等 。 测 试 测量 传输 帧 与 接收 到 的 帧 之 间 的 差 。 本 测试 只 适用 于 ATM 向 到 和 传 町 。 


四 信 元 延 时 。 利 用 ATM 信 元 特征 ， 测 试 不 同 终点 之 间 的 延 时 。 
。 PPP 容量 测试 。 

QD 测量 建立 N 个 PPP (点 对 点 协议 ) 会 话 所 需 时 间 。 

@ 测量 建立 不 同 PPP 会 话 时 的 最 小 、 最 大 和 平均 延 时 。 

@@) 发 送 PPP 上 的 IP 帧 ,测试 吞吐 量 和 包 丢 失 。 

e ATM 完整 性 。 

进行 信 元 错误 率 (CER) 测试 确定 通过 ADSL-ATM 网 络 传送 的 ATM 信 元 传输 的 


准确 性 。 报 告 收 到 的 AAL5 CRC 错误 帧 数量 。 


(4) VPN 网 络 测试 

。 最 大 隧道 创建 数量 ， VPN 系统 能 够 创建 的 最 大 隧道 的 数量 ， 
。 包 丢 失 ， 在 每 条 隧道 上 的 数据 包 丢 失 。 

。 延 时 ， 在 每 条 隧道 上 的 包 延 迟 。 

。 ”响应 时 间 : 在 每 条 隧道 上 的 应 用 响应 时 间 。 
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(5) 路 由 测试 
.e@ ”支持 BGP4/OSPF/RIP 路 由 协议 。 
e。 对 路 由 进行 压力 测试 ， 测 试 路 由 的 性 能 。 


10.3.3 ”网 络 测试 类 型 


根据 不 同 的 测试 目的 和 测试 对 象 ， 网 络 测试 的 类 型 可 以 概 插 为 以 下 几 类 。 

QD 网 络 可 靠 性 测试 :使 被 测试 网 络 在 较 长 时 间 内 (通常 是 24~72 小 时 ) 经 受 较 大 
负载 ， 通 过 监视 网 络 中 发 生 的 错误 各 出现 的 故障 ， 验 证 在 商 强 度 环境 中 网 络 系统 的 存活 
能 力 ， 也 就 是 它 的 可 车 性 。 可 靠 性 测试 作为 可 接受 性 测试 的 一 部 分 ， 也 是 比较 测试 或 升 
级 测试 的 一 部 分 。 测 试 中 采用 的 负载 模式 很 重要 ， 越 贴近 真实 负载 模式 越 好 ， 可 舍 性 测 
试 中 使 用 网 络 分 析 仪 监控 网 络 运行 、 捕 获 网 络 错 误 。 

网 络 可 接受 性 测试 ， 可 接受 性 测试 是 在 系统 正式 实施 前 的 “ 试 运行 "。 它 是 一 个 
非常 有 效 的 方法 , 确保 新 系统 能 提供 良好 而 稳定 的 性 能 。 可 接受 测试 中 也 包含 多 项 测试 ， 
例如 ， 响 应 时 间 、 稳 定性 和 特性 /功能 测试 。 而 在 安装 或 升级 网 络 前 ， 应 进行 的 网 络 可 接 
受 性 测试 则 经 常 被 和 忽略， 事实 上 可 接受 性 测试 能 为 网 络 购买 者 在 经 济 上 和 技术 上 提供 有 
力 的 保证 和 参考 。 可 接受 性 测试 可 以 仅 在 新 增加 的 部 件 上 完成 ， 将 已 存在 的 负载 加 上 新 
增 程序 或 新 增 组 件 可 能 产生 负载 作为 测试 使 用 的 负载 。 

外 网 络 瓶 颈 测试 : 为 找到 导致 系统 性 能 下 降 的 瓶颈 ， 和 需要 进行 网 络 瓶颈 测试 。 测 
试 中 需要 测试 和 计算 系统 的 最 大 香 吐 量 ， 然 后 再 在 单个 网 络 组 件 上 进行 该 项 测试 ， 明 确 
各 自 的 最 大 吞吐 量 。 通 过 单个 组 件 的 最 大 吞吐 量 和 系统 最 大 可 支持 吞吐 量 之 间 的 关 额 ， 
我 们 就 能 发 现 系统 瓶颈 的 位 置 以 及 哪些 组 件 有 多 余 容 量 。 系 统 瓶 颈 在 不 同 的 测试 案例 中 ， 
出 现 的 位 置 可 能 有 些 变化 。 例 如 ， 一 个 客户 /服务 器 应 用 程序 测试 可 能 表明 服务 器 是 系统 
的 瓶颈 ， 而 对 一 个 电子 邮件 系统 的 测试 ， 可 能 表明 ， 广 域 网 连接 才 是 网 络 的 限制 因素 。 
如 果 我 们 可 以 在 测试 的 环境 中 重 现 引 起 问题 的 负载 ， 那 么 这 样 的 测试 结果 对 我 们 解决 问 
题 有 巨大 的 好 处 。 

网 络 容量 规划 测试 : 进行 该 测试 可 检测 当前 网 络 中 是 否 存在 多 余 的 容量 空间 ， 
当 网 络 承受 的 总 负载 超过 网 络 总 容量 时 ， 网 络 的 性 能 或 符 吐 量 就 有 可 能 下 降 ， 所 以 在 网 
络 负载 接近 这 一 临界 点 (网络 的 最 大 容量 ) 前 ， 就 要 根据 负载 增长 的 幅度 扩充 网 络 资源 。 
进行 该 项 测试 要 逐渐 增加 网 络 负载 ， 直 到 网 络 的 运行 性 能 或 吞吐 量 下 降 至 不 能 达到 设计 
水 平 的 要 求 为 止 。 网 络 运 行 负载 和 网 络 最 大 吞吐 量 之 间 的 差额 就 是 现 有 系统 的 元 余 重 。 

@ 网 络 升 级 测试 :升级 测试 是 将 硬件 或 软件 的 新 版 本 与 当前 版 本 在 性 能 、 可 靠 性 
和 功能 等 方面 进行 比较 ， 同 时 验证 产品 升级 对 网 络 的 性 能 是 否 会 有 不 民 影 响 。 升 级 测试 
的 关键 是 要 保证 被 测 组 件 应 是 运行 网 络 中 最 关键 或 最 脆弱 的 组 件 ， 该 测试 还 条 强调 升级 
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版 的 新 特性 ， 部 分 新 特性 测试 在 升级 测试 之 前 作为 特征 /功能 的 一 部 分 也 可 以 测试 。 尽 管 
新 产品 应 该 解决 了 当前 版 本 中 的 错误 ， 但 它们 也 经 常 存在 一 些 以 前 没有 出 现 过 的 错误 ， 
如 果 这 些 错 误 发 生 在 产品 的 关键 部 分 ， 将 引起 严重 问题 。 升 级 测试 不 需要 测试 产品 的 所 
有 特性 ， 但 网 络 用 户 正常 运行 所 依靠 的 关键 功能 必须 在 测试 之 列 。 

@ 网 络 功能 /特性 测试 ， 特性 测试 核实 的 是 单个 命令 和 应 用 程序 功能 ， 通 常用 较 小 
的 负载 完成 ， 关 注 的 是 用 户 界面 、 应 用 程序 的 操作 以 及 用 户 与 计算 机 之 间 的 互 操作 。 特 
性 测试 通常 由 开发 人 员 在 他 们 的 开发 环境 中 完成 ， 或 是 在 一 个 小 型 网 络 环境 下 由 测试 人 
员 完成 。 功 能 测试 是 面向 网 络 的 ， 核 实 的 是 应 用 程序 的 多 用 户 特征 和 重负 载 下 后 台 功 能 
能 否 正确 地 执行 ， 关 注 的 是 当 多 个 用 户 使 用 应 用 程序 时 ， 网 络 和 文件 系统 或 数据 库 服务 
器 之 间 的 交互 情况 。 功 能 测试 要 求 网 络 的 配置 和 负载 非常 接近 于 运行 环境 下 的 模式 。 

@ 网 络 吞吐 量 测 试 ， 吞 吐 量 测 试 检测 的 是 每 秒 钟 传输 数据 的 字 节 数 和 数据 报 数 ， 
用 于 检测 服务 器 、 磁 盘子 系统 、 适 配 卡 /驱动 连接 、 网 桥 、 路 由 器 、 和 集线器 、 交 换 器 和 通 
信和 连接 。 吞 吐 量 的 测试 用 于 测量 网 络 的 性 能 ， 找 到 网 络 瓶 颈 以 及 比较 不 同 产品 的 性 能 。 
吞吐 重 测试 借助 某 些 工具 对 网 络 服务 器 执行 文件 输入 /输出 操作 来 产生 流量 ， 或 通过 某 些 
工具 在 网 上 发 送 专门 的 数据 包 或 数据 帧 。 

@ 网 络 响应 时 间 测 试 ， 检 测 系统 完成 一 系列 任务 所 需 的 时 间 ， 本 项 测试 是 用 户 最 
关心 的 。 对 于 表示 层 ， 如 微软 的 Windows， 测 试 在 不 同 桌 面 之 间 切 换 或 装载 新 负载 所 需 
的 时 间 。 在 不 同 负载 ， 即 不 同 实际 或 模拟 用 户 的 数目 下 ， 运 行 这 一 试验 ， 对 每 个 被 测试 
应 用 程序 生成 一 个 负载 -响应 时 间 曲 线 。 在 应 用 程序 测试 中 ,执行 一 系列 典型 网 络 动作 的 
命令 ， 如 打开 、 读 、 写 、 查 找 和 关闭 文件 ， 这 些 命令 提供 了 最 好 的 负载 模拟 。 例 如 ， 对 
每 个 被 测 服务 器 ， 检 测 这 些 命令 的 响应 时 间 。 响 应 时 间 测 试 应 该 包括 对 系统 可 舍 性 的 测 、 
试 。 可 舍 性 问题 ， 如 在 路 由 器 或 服务 器 中 大 量 丢 失 数 据 报 文 或 由 于 网 络 组 件 故障 引发 的 
大 量 坏 数据 报 文 ， 这 一 切 都 将 严重 影响 网 络 的 响应 时 间 ， 因 此 在 整个 测试 期 间 都 应 用 网 
络 分 析 仪 监视 系统 错误 。 

@ 衰减 测试 ， 衰 减 测试 是 测试 贯穿 整个 通信 连接 或 者 信道 的 信号 衰减 。 必 和 [综合 
考虑 通信 连接 中 所 有 组 件 产 生 的 累计 衰减 , 这 些 组 件 包括 每 个 插 / 拔 连接 件 . 电源 线 、UTP 
电线 等 。 在 每 对 连接 中 都 可 以 测试 衰减 ， 测 试 的 方法 是 在 连接 的 一 端 发 送 一 定 长 度 的 信 
号 (频率 大 于 100MHz)， 在 连接 的 另 一 终端 测试 信号 长 度 ， 以 确定 衰减 值 。 信 和 号 辑 射 、 
电线 阻抗 以 及 绝缘 吸收 都 会 引起 衰减 。 总 的 来 讲 ， 信 和 号 频率 越 高 ， 线 缆 的 长 度 越 长 ， 衰 
减 就 越 大 。 基 本 连接 的 衰减 测试 可 以 依据 TSB67 标准 来 选取 衰减 值 指标 。 测 试 信号 长 度 
以 分 贝 (dB ) 为 单位 ， 如 在 频率 为 100MHz 时 ， 最 大 的 衰减 值 不 能 超过 22dB。 

网 络 配置 规模 测试 ， 利 用 应 用 程序 响应 时 间 测 试 和 吞吐 量 测试 的 测试 结果 来 确 
定 网 络 组 件 的 规模 ， 还 可 以 利用 测试 结果 和 测试 者 自身 对 网 络 体系 结构 和 网 络 操作 的 知 
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识 ， 来 调整 特定 的 系统 配置 组 件 . 改变 网 络 的 运行 性 能 。 通过 反复 比较 不 同 的 运行 性 能 ， 
并 比较 每 次 结果 ， 找 到 令 人 满意 的 运行 性 能 配置 。 

(DD 网 络 设备 评估 测试 ， 产品 评估 主要 是 比较 各 个 产品 ， 例 如 ， 服 务 器 、 操 作 系 统 
或 应 用 程序 的 性 能 。 进 行 这 种 测试 时 ， 除 了 待 测 设备 之 外 ， 网 络 中 的 其 他 组 件 都 要 求 保 
持 不 变 。 许 多 公司 的 产品 评估 还 包括 技术 评估 和 子 系统 评估 。 技 术 评估 是 指 对 两 种 或 多 
种 存在 竞争 的 技术 在 性 能 方面 进行 比较 ， 子 系统 评估 是 指 对 包含 硬件 和 软件 的 网 络 子 系 
统 进行 比较 。 同 可 接受 性 测试 、 可 绚 性 测试 一 样 ， 评 信 测 试 也 要 进行 响应 时 间 、 吞 吐 盘 
和 和 可靠 性 的 测试 ， 这 样 就 能 清楚 地 了 解 网 络 中 一 个 组 件 被 男 一 个 组 件 代替 时 ， 对 网 络 产 
生 的 影响 。 

上 述 11 项 测试 类 型 应 根据 网 络 生命 周期 的 各 阶段 和 对 网 络 可 能 过 到 问题 的 预测 , 建 
立 一 个 针对 自身 主要 问题 的 测试 计划 。 这 项 测试 计划 中 规定 的 测试 任务 在 网 络 生命 周期 
的 各 阶段 应 有 所 不 同 ， 并 且 ， 当 网 络 扩展 或 升级 时 ， 要 改变 测试 计划 以 覆盖 新 的 领域 ， 
而 且 测 试 计划 对 整个 网 络 中 的 不 同 子 网 的 要 求 应 有 所 不 同 。 要 以 网 络 安全 和 测试 成 本 平 
衡 为 原则 ， 提 出 一 个 针对 需求 的 合理 测试 内 容 表 述 。 测 试 中 ， 应 按照 网 络 测试 的 需求 情 
况 ， 从 这 11 项 测试 中 灵活 地 选择 几 项 ， 安 排 其 优先 性 。 以 下 3 个 测试 任务 是 公认 的 最 重 
要 的 测试 任务 。 

QD 吞吐 量 测试 : 它 是 标识 网 络 设备 、 子 网 和 全 局 网 络 运行 性 能 的 重要 指标 。 

@ 可 接受 性 测试 ， 是 对 将 要 使 用 的 网 络 的 验收 ， 其 重要 性 和 必要 性 是 显然 的 。 

@ 升级 测试 ， 运动 是 永恒 的 ， 网 络 系统 永恒 的 主题 是 升级 换代 ， 升 级 测试 也 要 不 
断 进行 ， 不 要 主观 地 认为 升级 后 的 网 络 一 定 比 原 来 的 好 。 


10.3.4 .网 络 测试 对 象 


网 络 测试 不 可 能 对 整个 网 路 的 所 有 设备 和 组 件 进行 全 部 的 测试 ， 因 此 测试 内 容 要 有 
所 选择 ,测试 要 针对 网 络 系统 中 的 关键 部 分 。 可 以 根据 日 常 监测 的 有 关 网 络 系统 的 数据 ， 
大 致 划分 出 网 络 易 出 故障 的 部 分 ; 关注 新 的 网 络 组 件 (如 设备 和 应 用 程序 等 ); 采用 逐步 
测试 的 方式 ， 按 一 定 硕 序 进行 ， 如 ; 优先 进行 系统 的 可 接受 性 测试 、 性 能 测试 以 及 升级 
测试 等 。 

网 络 测试 对 象 包括 4 种 类 型 。 

@ 网 络 平台 包括 网 络 操作 系统 、 文 件 服务 器 和 工作 站 ; 

@ 应 用 层 是 指 应 用 程序 的 客户 端 、 果 面 操作 系统 和 数据 库 软 件 等 ; 

@ 子 系统 主要 是 指 路 由 器 、 集 线 器 、 交 换 机 和 网 桥 ; 

@ 全 局 网 路 径 则 是 整个 网 络 系统 中 重要 的 点 对 点 路 径 。 

网 络 测试 对 象 还 可 以 进一步 细 分 为 7 个 网 络 子 系统 ， 如 下 几 项 。 
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Q@ 文件 服务 器 ， 这 项 测试 主要 是 针对 服务 器 的 硬件 和 网 络 操作 系统 。 容 量规 划 和 
配置 规划 测试 都 要 求 应 用 程序 和 服务 器 已 安装 到 测试 网 络 中 。 如 果 整 个 网 络 中 的 服务 器 
都 是 标准 的 ， 可 用 同类 产品 的 评估 测试 代替 。. 

@ 工作 站 ， 网络 性 能 直接 受 网 络 工作 站 的 网 卡 、 协 议 、 缓 冲 区 、 视 频 刷新 和 桌面 
管理 的 影响 。 工 作 站 的 配置 规划 、 吞 吐 量 测试 也 应 和 应 用 程序 、 操 作 系 统 的 测试 相关 联 ， 
这 样 的 测试 结果 更 能 真实 体现 运行 系统 。 

@) 网 络 操 作 系 统 ， 网 络 操作 系统 中 有 很 多 部 分 需要 测试 。 但 在 没有 精确 评价 一 个 
新 的 操作 系统 前 ， 只 有 衰减 、 稳 定性 、 吞 吐 量 测试 得 到 的 测试 结果 是 有 效 的 。 在 网 络 组 
建 前 期 , 对 于 新 版 操作 系统 的 稳定 性 测试 是 非常 关键 的 , 它 可 以 保证 软件 的 性 能 和 功能 。 
从 测试 的 角度 看 ， 网 络 操作 系统 、 文 件 服务 器 、 工 作 站 组 成 了 应 用 程序 和 其 他 网 络 服 务 
运行 的 基本 平台 ， 它 们 需要 有 效 的 测试 。 

@ 应 用 程序 、 客 户 /服务 器 数据 库 和 工作 站 桌面 软件 ， 这 些 领域 是 用 户 直 接 感觉 到 
的 ， 应 用 程序 最 重要 的 测试 任务 是 稳定 性 、 响 应 时 间 、 容 量 、 功 能 和 升级 测试 。 对 于 使 
用 频率 高 的 程序 ， 最 关键 的 测试 是 升级 测试 和 容量 规划 测试 。 桌 面 和 图 形 用 户 界 面 的 测 
试 类 似 于 应 用 程序 的 测试 。 总 体 来 说 ， 这 些 都 属于 应 用 层 ， 它 们 的 测试 通常 一 起 进行 。 

@ 路由器、 集线器、 交换 机 和 网 桥 ， 从 测试 的 角度 看 ， 这 类 产品 的 硬件 和 软件 被 
看 作 子 系统 。 在 设备 安装 前 ， 要 核实 设备 的 稳定 性 和 功能 〈 在 运行 网 络 的 传输 模式 下 )。 
这 些 设备 有 很 多 可 选 的 配置 方式 ， 而 它们 在 运行 网 络 中 采用 的 配置 方式 是 测试 的 关键 ， 
在 考虑 工作 模式 或 对 网 络 扩容 时 ， 稳 定性 、 功 能 性 和 产品 评估 测试 也 需要 运行 。 

@ 网 段 : 一 旦 各 网 络 子 系 统 分 别 进行 了 测试 ， 就 要 把 它们 组 合 到 一 起 ， 并 使 组 合 
后 的 模拟 网 段 尽 可 能 体现 出 运行 网 段 的 典型 特征 。 完 成 这 项 工作 需要 根据 运行 网 络 中 网 
段 的 不 同 网 络 拓扑 结构 ， 制 定 多 个 网 络 配置 方案 。 通 常 把 已 经 在 网 络 中 运行 的 ， 经 确认 
正常 的 工作 负载 模式 作为 基准 ， 把 新 的 子 网 加 入 到 作为 基准 的 网 段 中 ， 然 后 进行 性 能 、 
稳定 性 和 功能 性 测试 ， 看 是 否 有 错误 发 生 。 

@) 全 局 网 ， 网 段 测试 通过 后 ， 就 要 把 网 段 放 到 网 络 中 进行 全 局 网 测试 。 连 接 两 个 
网 段 的 配置 ， 然 后 在 其 上 重新 进行 在 单个 网 段 中 进行 过 的 测试 。 这 项 测试 对 于 验证 一 些 
网 络 功 能 ， 例 如 超时 、 目 录 可 访问 性 、 升 级 、 网 络 登 录 和 访问 权限 等 是 否 正 确 很 关键 。 
10.3.5 ”网 络 测试 的 基本 方法 

网 络 测试 的 方法 和 手段 因 测试 的 目的 不 同 而 有 所 不 同 。 典 型 的 网 络 设备 测试 的 方法 
有 两 种 :第 一 种 是 将 设备 放 在 一 个 仿真 的 网 络 环境 中 ， 通 过 分 析 该 产品 在 网 络 中 的 行为 


对 其 进行 测试 ， 第 二 种 方法 是 使 用 专用 的 网 络 测试 设备 对 产品 进行 测试 ， 如 专用 的 性 能 
分 析 仪 器 SmartBits 6000、IXIA 1600 等 。 
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对 于 网 络 系统 的 布线 测试 、 物 理 连通 性 测试 以 及 故障 监测 也 有 专门 的 工具 ， 这 些 工 
具 是 一 些 底层 的 网 络 测试 和 维护 工具 ， 如 网 络 电缆 测试 仪 、 令 牌 环 网 测试 仪 、 以 太 网 测 
试 仪 、 郊 弧 删 试 仪 、 企 业 级 网 络 测 试 仪 等 ， 这 些 都 是 在 网 络 系统 的 实施 部 署 和 运行 维护 
阶段 采用 的 常用 的 测试 工具 。 

对 于 网 络 协议 的 一 致 性 测试 一 般 有 专门 的 测试 工具 来 支持 ， 比 如 说 对 ISDN、ATM、 
ADSL、 帧 中 继 等 的 测试 都 有 专门 的 测试 仪 。 对 网 络 系统 的 测试 也 有 相应 的 测试 工具 ， 
最 典型 和 最 重要 的 就 是 网 络 协议 分 析 仪 。 网 络 协议 分 析 仪 一 般 有 专用 的 硬件 设备 和 专门 
的 软件 。 这 类 协议 分 析 仪 典型 的 功能 是 数据 包 的 捕 提 、 协 议 的 解码 、 统 计 分 析 和 数据 流 
量 的 产生 。 用 协议 分 析 仪 我 们 可 以 捕捉 网 上 的 实际 流量 、 提 取 流 重 的 特征 ， 据 此 对 网 络 
系统 的 流量 进行 模型 化 和 特征 化 。 此 外 ， 网 络 协议 分 析 仪 还 可 以 主动 地 产生 大 量 的 数据 
包 施 加 到 网 络 上 ， 分 析 网 络 的 响应 或 对 网 络 系统 进行 负载 测试 。 目 前 典型 的 协议 分 析 仪 
有 HP 公司 的 Intemet Advisor (网 络 专家 系统 )、WG 公司 的 Domino 系列 协议 分 析 仪 等 。 
另外 还 有 一 些 纯 软件 的 协议 分 析 工 具 ， 有 些 甚至 可 以 从 网 上 免费 下 载 。 但 这 类 协议 分 析 
软件 无 论 在 协议 的 解码 能 力 、 解 码 和 数据 分 析 的 实时 性 以 及 数据 流量 的 产生 能 力 上 ,与 
用 专门 硬件 实现 的 协议 分 析 仪 相 比 仍 有 差距 。 

还 有 一 些 比 协议 分 析 仪 更 硕 层 次 的 网 络 性 能 测试 工具 ， 站 在 应 用 层 的 角度 使 用 一 些 
基准 业务 流量 对 网 络 系统 的 性 能 进行 分 析 ， 代 表 性 的 软件 是 Ganymede Software 公司 的 
Chariot 软件 、Compuware 公司 的 Network Vantage 等 。 | 

我 们 在 分 析 和 解决 网 络 性 能 问题 时 , 通常 有 这 么 几 个 分 析 的 模型 和 方法 , 如 下 所 示 。 

e 七 层 网 络 结构 分 析 模 型 法 ， 从 网 络 的 七 层 结构 的 定义 和 功能 上 逐一 地 进行 分 析 

和 排查 ， 这 是 传统 的 而 且 最 基础 的 分 析 和 测试 方法 。 这 里 有 上 自 下 而 上 和 自 上 而 
下 的 两 种 思路 。 自 下 而 上 : 从 物理 层 的 链 路 开始 检测 直到 应 用 层 。 自 上 而 下 : 
从 应 用 协议 中 捕捉 数据 包 ， 分 析 数 据 包 统计 和 流量 统计 信息 以 获得 有 价值 的 
资料 。 

。 网络 连 接 结构 的 分 析 法 :从 网 络 的 连接 构成 来 看 可 以 大 致 分 成 客户 端 、 网 络 链 

路 、 服 务 器 端 三 个 模块 。 

@ 客户 端 也 具备 网 络 的 七 层 结构 ， 也 会 出 现 这 样 或 那样 的 故障 ， 从 硬件 到 软件 ， 
从 驱动 到 应 用 程序 ， 从 设置 错误 到 病毒 等 。 

@ 来 自 网 络 链 路 的 问题 通常 需要 网 络 电线 测试 仪 、 网 管 软件 、 协 议 分 析 仪 来 帮助 
确定 问题 的 性 质 和 原因 。 这 个 方面 的 问题 分 析 要 有 坚实 的 网 络 知识 和 实战 经 验 ， 在 很 大 
程度 上 实战 经 验 会 决定 排除 故障 的 时 间 。 

@ 在 分 析 服 务 器 端的 情况 时 ， 要 了 解 服务 器 的 硬件 性 能 及 配置 情况 ， 软件 系统 性 
能 及 配置 情况 ， 网 络 应 用 及 对 服务 器 的 影响 情况 。 
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。 工具 分 析 法 : 有 强大 的 各 种 测试 工具 和 软件 ， 它 们 的 自动 分 析 和 专家 系统 能 快 
速 地 给 出 网 络 的 各 种 参数 ， 甚 至 是 故障 的 分 析 结 果 。 
e。 经验 分 析 法 ， 靠 时 间 、 错 误 与 成 功 的 积累 ， 大 多 数 的 网 络 测试 工程 师 都 是 采用 
这 个 方法 ， 再 结合 网 管 和 测试 工具 迅速 定位 网 络 的 故障 。 
10.3.6 ”网 络 测试 标准 及 工具 

1， 测 试 标准 

在 网 络 测试 领域 ， 没 有 一 个 处 于 支配 地 位 的 公司 或 机 构成 功 地 建立 起 测试 的 标准 。 
IETF (Intermet Engineering Task Force) 下 属 的 BMWG (Benchmarkinge Methodology 
Working Group) 工作 组 ， 制 定 了 一 系列 测量 各 种 全 局 网 络 技术 性 能 的 建议 。 今 后 的 工作 
组 会 更 进一步 地 对 在 这 些 技术 上 搭建 的 系统 与 业务 提出 建议 。 每 一 个 提出 的 建议 中 都 描 
述 了 所 涉及 的 设备 、 系 统 或 业务 的 类 型 ;讨论 与 这 个 类 型 相关 的 性 能 特性 ; 清晰 地 确定 
对 这 些 特性 加 以 描述 的 指标 ， 规 定 对 这 些 指 标 进 行 收 集 的 测试 方法 ， 最 后 提出 对 测试 结 
果 进 行 报告 的 要 求 ， 通 党 是 通过 RFC 发 布 标准 ， 而 且 尽 量 独立 、 公 正 ( 不 受 厂家 技术 指 
标的 影响 )。 

例如 ， 针 对 交换 机 的 测试 ，BMWG 公布 了 下 面 这 些 主要 的 RFC。 

RFC 1242: 网 络 设备 及 网 络 设备 互联 基准 术语 。 

RFC 2544 (RFC 1944): 网 络 设备 互联 基准 测试 方法 。 
RFC 2285: 局 域 网 交换 机 测试 术语 。 

RFC 2432: IP 多 播 基 准 。 

。 RFC 2647: 网 络 防火 墙 性 能 测试 术语 。 

除 此 之 外 ， 还 有 一 些 常用 的 ， 但 BMWG 未 做 标准 的 测试 项 。 从 这 个 工作 组 制定 的 
RFC 及 草案 中 ， 可 以 看 出 他 们 的 一 个 工作 思路 ， 一 般 先 针对 被 测 对 象 制定 一 套 术 语 ， 随 
后 采用 这 套 本 语 对 被 测 对 象 定义 测试 的 方法 和 手段 。 

为 了 适合 我 国 网 络 发 展 的 实际 情况 , 我 国 开展 了 测试 标准 制定 工作 , 在 IP 网 络 设备 
标准 以 及 测试 标准 方面 制定 了 下 列 标准 : 

。 YD/T1098-2001 路 由 器 测试 规范 一 一 低 端 路 由 器 。 

YD/T1141-2001 干 兆 位 以 太 网 交换 机 测试 方法 。 

YD/T1142-2001 IP 电话 网 值守 设备 技术 要 求 及 测试 方法 。 

YD/T1156-2001 路 由 器 测试 规范 一 一 高 端 路 由 器 。 

YD/T1072-2000 IP 电话 网 关 设 备 测 试 方法 。 

YD/T1075-2000 网 络 接 入 服务 器 (NAS) 测试 方法 。 

在 国内 外 测试 标准 的 推动 下 ， 测 试 工作 取得 了 很 大 进展 ， 但 是 这 些 标准 多 是 针对 网 
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络 设备 的 ， 换 血 话 说 ， 是 用 于 网 络 设备 或 网 络 组 件 ( 如 网 络 协 议 栈 》 测试 ， 而 不 是 用 于 
多 个 网 络 组 件 有 机 结合 后 的 网 络 子 网 或 整个 网 络 测试 的 。 因 此 在 缺乏 统一 测试 标准 的 情 
况 下 ， 对 整个 网 络 或 子 网 的 测试 就 需要 参考 大 和 量 的 技术 规范 ， 并 对 测试 内 容 和 测试 方法 
等 一 系列 技术 规则 进行 总 结 归 纳 。 

2， 测 试 工具 

(1) 物理 线 费 测 试 仪 

常见 的 测试 项 目 主要 有 线 缆 长 度 、 台 减 、 阻 抗 、 串 捧 、 反 射 和 噪声 等 。 某 些 线 费 测 
试 仪 还 可 以 定位 线 缆 路 由 ， 即 由 线 费 测 试 仪 将 一 系列 音频 信和 号 输入 到 线 缆 中 ， 并 用 一 个 
小 的 附属 设备 〈 充 当 音 频 放 大 器 ) 在 30 一 40cm 处 监听 信和 号， 这 样 即 可 探测 到 地 板 下 或 
隅 板 下 的 线 线路 由 情况 。 此 外 ， 还 可 以 使 用 附属 信和 号 发 生 器 测试 引起 的 分 配 情 况 并 检测 
布线 故障 〈 如 线 费 折 断 、 短 路 或 线 对 反 转 等 )。 在 使 用 线 缆 测 试 仪 时 ， 必 须 让 其 工作 在 要 
求 的 频率 范围 内 ， 因 为 像 串 执 、 瑟 减 等 参数 都 直接 与 信号 频率 有 关 。 例 如 ， 对 高 速 数 据 
传输 技术 〈 如 快速 以 太 网 或 ATM) 来 说 ， 线 缆 测 试 的 频率 范围 是 1~100MHz， 在 TSB67 
(电信 系统 公告 牧 67, 1995 年 9 月 ) 规范 中 详细 描述 了 线 费 测 试 方法 及 相应 的 精度 需求 ， 
还 定义 了 两 个 频率 精度 等 级 (I 级 和 工 级 )， 其 中 开 级 测试 仪 的 精度 比 工 级 测试 仪 高 。 任 
何 价格 昂贵 的 线 绕 测试 仪 都 必须 遵照 《TSB67 1 级 规范 》， 当 然 ， 在 某 些 特殊 场合 下 进行 
网 络 故障 检测 和 修复 ， 有 TSB67 I 级 线 缆 测 试 仪 就 足够 了 。 有 很 多 优秀 的 物理 线路 测试 
工具 ， 如 美国 Agilent 公司 的 线 费 认 证 测试 工具 WireScope 155 和 FLUKE 公司 的 
DSP-4100 等 。 

(2) 网 络 运行 模拟 工具 

模拟 工具 是 指 按照 指定 网 络 基准 或 网 络 负载 模式 ， 以 指定 速率 向 所 连 网 络 发 送 指定 
大 小 的 数据 包 ， 从 而 模拟 出 所 需 的 网 络 流量 状况 ， 进 而 再 现 运行 网 络 真实 的 环境 。 

(3) 协议 分 析 仪 

协议 分 析 仪 是 定位 和 排除 故障 的 关键 工具 ， 可 以 捕获 网 络 上 的 数据 报 或 数据 帧 。 一 
个 数据 包 或 数据 帧 主要 包含 三 方面 信息 : 源 地 址 和 目的 地 址 、 数 据 、 控 制 位 。 捕 获 的 数 
据 包 存 放 在 磁盘 缓冲 区 中 , 可 以 对 各 种 协议 进行 进一步 的 解析 。 解析 的 程度 可 以 不 一 样 ， 
可 以 进行 简单 的 报 文 类 型 或 报 文 地 址 解析 ， 也 可 以 进行 复杂 的 解析 ， 对 数据 部 分 进行 分 
析 ， 还 原 为 指令 代码 ， 如 文件 打开 、 关 闭 等 操作 。 协 议 分 析 仪 可 以 监控 网 络 的 数据 流 重 、 
连接 数 、 处 在 网 络 连接 中 的 目的 端 和 源 客户 端的 地 址 (MAC、 了 下、SPX)、 数 据 包 的 大 
小 分 布 、 协 议 分 布 等 ， 可 以 通过 历史 采样 功能 对 网 络 参数 进行 采样 ， 并 通过 直方 图 或 饼 
图 显示 。 网 络 维护 人 员 用 分 析 仪 捕获 数据 包 ， 查 看 数据 包 ， 解 析 数 据 包 ， 由 此 获取 信息 ， 
再 分 析 这 些 信 息 ， 检 查 网 络 问题 。 网 络 协议 分 析 仪 还 可 以 主动 地 产生 大 量 的 数据 包 施 加 
到 网 络 上 ， 分 析 网 络 的 响应 或 对 网 络 系统 进行 负载 测试 。 协 议 分 析 仪 有 许多 不 同 的 测试 
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模块 ， 最 简单 的 测试 系统 就 是 安装 在 PC 机 (要 配置 相应 的 LAN 和 WAN 接口) 上 的 软 
件 系 统 ， 而 高 性 能 的 协议 分 析 仪 ， 一 般 都 采用 专用 的 硬件 设备 和 基于 专家 系统 的 高 性 能 
分 析 软 件 。 究 竞选 用 何 种 协议 分 析 仪 ， 应 取决 于 待 测 网 络 的 规模 、 复 杂 性 和 拓扑 结构 等 
因素 。 使 用 得 较 多 协议 分 析 仪 有 NAI 公司 的 Sniffer、FLUKE 公司 的 OptiView、HP 公司 
的 Internet Advisor (网 络 专家 系统 )、 WG Sa Domino 系列 、 人 免费 网 络 协议 分 析 软 件 
Ethereal 等 。 

(4) 专用 网 络 测试 设备 

专用 的 软 硬 件 结合 的 测试 设备 ， 能 够 对 网 络 设备 、 网 络 子 网 以 及 整个 网 络 系统 提供 
综合 测试 ， 具 有 典型 的 三 大 功能 ， 数 据 捕获 、 负 载 产 生 和 智能 分 析 。 常 见 的 有 Spirent 
公司 的 SmartBits 6000、IXIA 公司 的 IXIA 1600 等 。 下 面 简单 介绍 一 下 SmartBits， 该 产 
品 是 数据 通信 和 领域 广泛 认同 的 ， 能 够 对 网 络 及 设备 进行 性 能 测试 和 评估 分 析 的 标准 测量 
仪表 ， 为 进行 10/100/1000 M 以 太 网 、ATM、POS、 光 纤 通 道 、 帧 中 继 网 络 和 网 络 设备 
的 高 端口 密度 测试 提供 了 行业 标准 。SmartBits 提供 了 测试 xDSL、 电 缆 调 制 解 调 器 、 
IPQoS、VolP、MPLS、IP 多 播 、TCP/IP、IPv6、 路 由 、SAN 和 VPN 的 测试 应 用 ， 可 以 
测试 、 仿 真 、 分 析 、 开 发 和 验证 网 络 基础 设施 并 查找 故障 ， 从 网 络 最 初 的 设计 到 对 最 终 
网 络 的 测试 ，SmartBits 提供 了 产品 生命 周期 各 个 阶段 的 分 析 解 决 方案 。SmartBits 6000 
在 一 个 机 架 中 最 多 可 支持 96 个 10/100 Mbps 以 太 网 端口 、24 个 千 兆 以 太 网 端口 、6 个 万 
兆 以 太 网 端口 、24 个 光纤 通道 端口 、24 个 POS 端口 或 上 述 端口 的 任意 组 合 ， 并 可 通过 
使 用 SmartBits 多 机 扩展 功能 ， 将 多 达 512 台 设 备 同 步 连 接 起 来 。 

(5) 网 络 协议 的 一 致 性 测试 工具 

对 于 网 络 协议 的 一 致 性 测试 , 一 般 有 专门 的 测试 工具 来 支持 , 比如 说 对 ISDN 、ATM、 
ADSL、 帧 中 继 等 的 测试 都 有 专门 的 测试 仪 。 

(6) 网 络 应 用 分 析 测 试 工具 

以 应 用 性 能 分 析 为 主要 目的 的 网 络 性 能 测试 软件 , 如 Compuware 公司 的 Application 
Vantage 应 用 产品 包 ， 从 服务 器 、 网 络 到 客户 端 。 提供 强大 的 故障 定位 和 解决 方案 ， 以 快 
速 定位 和 解决 问题 。 


10.4 网络 应 用 测试 


10.4.1 网络 应 用 监控 


1. 概述 
网 络 监测 功能 一 般 是 通过 将 网 络 探测 器 设备 (如 运行 探测 器 软件 的 PC 或 专用 设备 ) 
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安装 在 网 络 的 某 一 网 段 上 采集 数据 实现 的 。 探 测 器 常常 被 插入 到 局 域 网 交换 机 上 的 镜像 
端口 中 ， 即 被 配置 为 复制 来 自 交 换 机 上 另 一 个 端口 的 传输 流 的 端口 。 探 测 器 将 只 能 够 从 
镜像 端口 采集 传输 流 数 据 。 

2. 网 络 应 用 监控 目标 

在 系统 试 运行 之 后 ， 需 要 及 时 准确 地 了 解 网 络 上 正在 发 生 什 么 事情 ;什么 应 用 在 
和 运行， 如何 运行 ; 多 少 PC 正在 访问 LAN 或 WAN; 哪些 应 用 程序 导致 系统 瓶颈 或 资源 
竞争 ， 定 位 问题 的 根源 是 在 客户 端 、 服 务 器 、 应 用 程序 还 是 网 络 。 在 大 多 数 情 况 下 ， 
用 户 较 关心 的 问题 还 有 ， 哪 些 应 用 程序 占用 大 量 带 宽 ， 哪 些 用 户 产生 了 最 大 的 网 络 流 
景 等 。 

3， 网 络 应 用 监控 原理 

对 于 使 用 集线器 连接 的 网 络 而 言 ， 以 太 网 协议 的 工作 方式 使 网 络 内 源 主机 发 送 的 ， 
写 有 目的 主机 IP 地 址 的 数据 包 ， 发 往 同 一 集线器 上 的 所 有 主机 。 但 是 ， 这 种 数据 包 并 不 
能 在 协议 栈 的 商 层 直接 发 送出 去 。 要 发 送 的 数据 包 必 须 从 TCP/IP 协议 的 IP 层 交 给 网 络 
接口 。 数 字 信 号 到 达 一 台 主 机 的 网 络 接口 时 ， 在 正常 情况 下 ， 网 络 接口 读 入 数据 帧 后 进 
行 检 查 ， 如 果 数 据 帧 中 携带 的 物理 地 址 是 自己 的 ， 或 者 物理 地 址 是 广播 地 址 ， 则 将 数据 
帧 交 给 上 层 协议 软件 ， 也 就 是 IP 层 软件 ， 否则 就 将 这 个 帧 丢弃 。 对 于 每 一 个 到 达 网 络 接 
口 的 数据 帧 ， 都 要 进行 这 个 过 程 。 换 言 之 ， 用 集线器 连接 的 网 络 ， 网 内 任何 一 台 机 器 都 
能 够 “ 听 到 ”其 他 机 器 的 通信 ， 当 然 也 能 够 将 这 些 通信 和 包 抓 取 下 来 ， 这 正 是 网 络 监 控 能 
够 实现 的 前 提 。 所 以 ， 在 集线器 网 络 中 ， 任 何 一 台 机 器 上 如 果 布 署 了 网 络 监控 软件 ， 则 
无 论 数据 帧 的 地 址 是 什么 ,都 不 会 将 帧 丢弃 ， 而 是 将 所 有 的 数据 帧 都 交 给 上 层 协议 软件 ， 
对 数据 包 进 行 分 析 处 理 ， 达 到 监控 的 目的 。 

而 对 于 采用 交换 机 、 路 由 器 等 网 络 设备 的 网 络 而 言 ， 由 于 交换 机 与 集线器 最 大 的 不 
同 是 通信 数据 包 不 再 复制 到 其 他 所 有 端口 ， 而 是 “精确 ”地 发 往 目标 机 器 所 在 的 那个 端 
口 ， 所 以 ， 其 他 机 器 就 无 法 “ 听 到 ”这 种 目的 性 较 强 的 通信 ， 也 就 无 法 实现 数据 包 的 抓 
取 了 。 要 想 在 基于 交换 机 的 网 络 中 部 署 网 络 监控 , 必须 采取 一 些 其 他 手段 , 在 网 络 的 “ 关 
口 ” 处 设 岗 ， 即 指 所 有 机 器 的 通信 都 会 流 经 的 端口 设置 监控 。 如 : 通过 代理 服务 器 上 网 
的 网 络 需 要 在 代理 服务 器 上 部 署 监控 ， 如 果 局 域 网 的 网 关 是 计算 机 ， 则 在 网 关 计 算 机 上 
部 署 ， 如 果 网 络 的 网 关 是 路 由 器 的 话 ， 则 在 交换 机 和 路 由 器 之 间 加 装 一 个 集线器 ， 从 而 
实现 监控 ， 其 他 方法 还 包括 交换 机 端口 镜像 等 。 

4. 网络 应 用 监控 工具 

Network Vantage 是 一 个 全 面 应 用 监控 和 报告 产品 , 它 帮 助 发 现 和 优化 网 络 上 的 应 用 
性 能 。Network Vantage 采用 成 熟 的 软件 探 针 技术 , 采用 被 动 监听 技术 监控 网 络 , Network 
Vantage 自动 发 现 应 用 ， 追 踪 通 过 LAN/WAN 结构 的 应 用 流量 ， 收 集 详细 的 性 能 列表 数 
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据 。Network Vantage 关联 这 些 信 息 ， 并 输出 到 一 个 用 户 图 形 接口 一 一 交互 式 用 户 界面 ， 
它 自 动 识别 应 用 性 能 是 如 何在 网 络 上 表现 的 。 通 过 这 个 交互 式 用 户 界面 可 以 找到 每 个 受 
到 影响 的 工作 站 、 服 务 器 、 网 段 和 当日 的 时 间 段 。 这 种 方式 可 以 确定 关键 信息 如 : 什么 
工作 站 引起 最 多 流量 、 哪 些 混合 流量 (应 用 和 时 间 段 ) 在 关键 的 WAN 网 络 链 路 上 造成 
过 载 、 应 用 或 服务 器 的 网 络 响应 时 间 趋 势 等 。Network Vantage 提供 的 信息 有 助 于 分 析 问 
题 根源 ， 快 速决 定 受 影响 的 服务 器 数量 和 用 户 数 。 

Sniffer 是 另 一 种 网 络 监控 工具 ， 它 可 以 实现 如 下 功能 : 


捕捉 网 络 流量 ， 

诊断 问题 ; 

监控 现实 情况 下 的 网 络 活 动 ; 

针对 网 络 上 单独 的 工作 站 、 会 话 以 及 部 分 网 络 ， 搜 集 详细 的 使 用 和 错误 信息 ; 


存储 历史 的 使 用 和 错误 信息 用 于 基线 分 析 ; 


产生 可 见 或 可 视 的 报警 信息 ; 
利用 工具 在 网 络 上 打探 针 ， 模 拟 流 量 、 测 量 啊 应 时 间 、 计 算 跳 苇 以 及 定位 问题 。 


10.4.2 ”网 络 故障 分 析 


1， 网 络 故障 诊断 步骤 

网 络 故 障 以 某 种 症状 表现 出 米 ， 故 障 症状 包括 一 般 性 的 《如 用 户 不 能 接 入 某 个 服务 
器 ) 和 较 特殊 的 (如 路 由 器 不 在 路 由 表 中 )。 对 每 一 个 症状 使 用 特定 的 故障 诊断 工具 和 方 
法 都 能 查找 出 一 个 或 多 个 故障 原因 。 一 般 故 障 诊断 模式 如 下 。 


当 分 析 网 络 故障 时 ， 直 先 要 消 楚 故障 现象 。 应 该 详细 说 明 故 障 的 症候 和 潜在 的 
原因 。 为 此 ， 要 确定 故障 的 具体 现象 ， 然 后 确定 造成 这 种 故障 现象 的 原因 和 类 
型 。 例 如 ， 主 机 不 响应 客户 请 求 服务 。 可 能 的 故障 原因 是 主机 配置 问题 、 网 卡 
故障 或 路 由 器 配置 命令 丢失 等 。 

收集 需要 的 用 于 帮助 隔离 可 能 故障 原因 的 信息 。 向 用 户 、 网 络 管理 员 、 管 理 者 
和 其 他 关键 人 物 提 一 些 和 故障 有 关 的 问题 。 广 泛 地 从 网 络 管理 系统 、 协 议 分 析 
跟踪 、 路 由 器 诊断 命令 的 条 出 报告 或 软件 说 明 书 中 收集 有 用 的 信息 。 

根据 收集 到 的 情况 考虑 可 能 的 故障 原因 。 可 以 根据 有 关 情 况 排除 某 些 故障 原因 。 
例如 ， 根 据 某 些 资料 可 以 排除 硬件 故障 ， 把 注意 力 放 在 软件 原因 上 。 对 于 任何 
机 会 都 应 该 设法 减少 可 能 的 故障 原因 ， 以 便 尽快 策划 出 有 效 的 故障 诊断 计划 。 
根据 最 后 的 可 能 的 故障 原因 ， 建 立 一 个 诊断 计划 。 开 始 仅 用 一 个 最 可 能 的 故障 
原因 进行 诊断 活动 ， 这 样 可 以 容易 恢复 到 故障 的 原始 状态 。 如 果 一 次 同时 考虑 
一 个 以 上 的 故障 原因 ， 试 图 返回 故障 原始 状态 就 困难 多 了 。 
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e 执行 诊断 计划 ， 认 真 做 好 每 一 步 测 试 和 观察 ， 直 到 故障 症状 消失 。 
e 每 改变 一 个 参数 都 要 确认 其 结果 。 分 析 结 果 确 定 问题 是 否 解决 ， 如 果 没 有 解决 ， 
继续 下 去 ， 直 到 解决 。 

2， 软 件 问题 的 诊断 

软件 问题 的 诊断 建立 在 网 络 应 用 分 析 的 基础 上 。 

目前 测试 需要 面 对 的 大 多 数 系 统 是 复杂 的 分 布 式 多 层 应 用 ， 这 些 应 用 的 特点 是 ， 
网 络 是 应 用 中 的 一 个 组 件 ， 应 用 对 网 络 产生 影响 ， 同 时 网 络 对 应 用 也 会 产生 影响 ， 这 
样 的 特点 造成 应 用 在 网 络 上 的 容重 需求 很 难 估计 ， 失 败 的 风险 较 大 。 如 何 针对 分 布 式 
多 层 应 用 进行 网 络 故 障 定位 ， 以 及 在 应 用 线程 级 分 析 中 的 应 用 是 迫切 需要 解决 的 问题 。 
网 络 应 用 分 析 可 以 发 现 多 种 问题 ， 例 如 ， 客 户 端 是 否 对 数据 库 服务 器 运行 了 不 必要 的 
请 求 ， 当 服务 器 从 客户 端 接 受 了 一 个 查询 ， 应 用 服务 器 是 否 花费 了 不 可 接受 的 时 间 与 
数据 库 服 务 器 通信 等 。 借 助 于 网 络 应 用 分 析 工 具 ， 可 以 在 投产 前 调整 应 用 在 网 络 上 的 
性 能 。 

目前 成 熟 的 网 络 应 用 分 析 工 具 很 少 ， 并 且 从 事 网 络 故 障 分 析 的 成 本 很 高 。 为 了 实现 
分 布 式 应 用 分 析 ， 规 避 应 用 实施 风险 ， 可 以 重点 考虑 以 下 几 个 方面 的 测试 ; 

优化 应 用 程序 的 性 能 。 

@ 预测 响应 时 间 。 

@ 确定 网 络 带宽 需求 。 

在 应 用 程序 领域 和 网 络 领 域 分 别 进行 故障 定位 。 

(1) 网 络 应 用 分 析 的 关键 因素 

网 络 应 用 分 析 的 关键 因素 包括 : 会 话 信 息 、 包 信息 、 响 应 时 间 信 息 、 负 载 信 息 、 高 
峰 信 息 、 线 程 信息 等 。 同 时 还 可 以 采用 一 些 网 络 应 用 分 析 技 术 ， 例 如 ， 响 应 时 间 预 测 技 
术 与 带宽 模拟 技术 等 。 

。 会 话 信息 。 指 应 用 程序 节点 之 间 的 会 话 信息 ， 会 话 信息 主要 包括 会 话 往返 行程 

和 会 话 流 量 信息 。 
Q@ 往返 行程 。 一 个 往返 行程 是 一 对 节点 之 间 


Client Server 


的 一 系列 帧 请 求 /回应 。 如 图 10-3 所 示 的 会 话 中 ， 
往返 行程 个 数 是 2。 一 个 应 用 程序 如 果 具 有 和 较 少 的 et | 1 mm 
往返 行程 次 数 ， 那 么 它 受 网 络 品质 的 影响 ， 例 如 网 
络 延 迟 的 影响 较 小 ， 反 之 则 较 大 。 

@@ 流量 信息 。 会 话 的 流 重 信息 包括 节点 之 间 | 2 tum 
传输 的 字 节 数 或 者 帧 数目 ， 如 图 10-4 所 示 表 示 的 
是 节点 之 间 传 输 的 字 节 数 。 10-3 ”往返 行程 
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二 
四 


mm 


:BylasiorTask 1 


图 10-4 节点 之 间 传 输 的 字 节 数 
当 捕 捉 到 的 节点 很 多 ， 并 且 流 量 纷繁 交织 时 ， 可 以 设 定 某 种 条 件 过 滤 流 量 。 如 
图 10-5 和 如 图 10-6 所 示 ， 表 示 的 是 过 滤 前 和 过 滤 后 的 流量 显示 状态 。 
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图 10-6 过滤 后 流量 状态 
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。 包 信息 。 

可 以 先 对 包 信 息 进行 解码 , 然后 分 析 包 的 详细 信息 , 还 可 以 分 析 包 与 包 之 间 的 关系 、 
一 个 时 间 段 内 包 的 数量 和 包 尺 寸 平均 大 小 ,以 及 包 与 线程 的 关系 等 。 如 图 10-7 所 示 为 利 


用 工具 监控 与 应 用 相关 的 包 大 小 及 传输 方向 。 大 量 的 红色 表示 个 充足 的 流量 ， 传 输 线 之 
间 的 间隔 表示 存在 延迟 问题 。 


图 10.7 包 的 大 小 及 传输 方 同 


ae 啊 应 时 间 信 息 。 
如 图 10-8 所 示 ， 分 解 出 客户 端 响应 时 间 、 网 络 传输 时 间 以 及 服务 器 〈 包 括 Web 服 
务 器 、 应 用 服务 器 、 数 据 库 服务 器 等 ) 的 处 理 时 间 ， 为 分 段 定 位 故障 提供 依据 。 
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图 10-8 响应 时 间 信 息 


。 负载 信息 。 
如 图 10-9 所 示 显 示 了 有 效 负载 与 其 他 负载 的 比例 ， 米 评 佑 与 业务 相关 的 流量 效率 。 
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oh ayood wv Oveohao? Tash 1 


10-9 ”负载 信息 


。 高 蜂 信 息 。 
需要 明确 高 峰 发 生 的 时 刻 以 及 高 峰 期 的 流量 , 以 确定 广域网 的 容量 需求 , 如 图 10-10 
所 示 表 示 了 一 个 应 用 的 平均 流量 和 商 峰 流量 。 


图 10-10 高 峰 信息 


可 以 对 某 个 线程 进行 分 析 ， 也 可 对 线程 之 间 的 关系 进行 分 析 。 如 图 10-11 所 示 ， 
每 个 线程 中 都 包含 了 一 组 包 信息 ， 所 以 可 以 分 析 线 程 和 包 之 间 的 关联 。 线 程 也 可 以 解 
析 为 协议 信息 进行 分 析 。 在 线程 分 析 时 还 可 以 将 有 关联 的 线程 设置 为 线程 组 来 
分 析 。 

。 ”响应 时 间 预 测 。 
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可 以 利用 工具 为 实验 室 中 得 到 的 测试 数据 进行 响应 时 间 预 测 。 要 完成 这 项 工作 澡 要 
定义 三 类 参数 ， 分 别 是 带宽 、 背 景 负 载 〈 利 用 率 ) 以 及 延迟 ， 例 如 可 以 模拟 在 与 服务 器 
通信 的 带宽 、 负 载 、 延 迟 参 数 下 预测 茶 个 会 话 的 啊 应 时 间 。 

于 
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TT 


图 10-11 线程 信息 


如 图 10-12、 图 10-13 和 图 10-14 所 示 ， 可 以 看 出 随 着 带宽 的 遂 渐 递增 ， 数 据 传输 时 
间 以 及 网 络 通 信 时 间 的 变化 趋势 。 
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图 10-12 ”客户 端 和 Web 服务 器 通过 56K 连接 通信 
。 带宽 模拟 。 
带宽 模拟 的 目的 是 为 系统 传输 选择 一 个 合适 的 带宽 ， 使 得 系统 的 峰值 流量 可 以 接 
受 。 这 些 测 试 数 据 为 选择 带宽 提供 了 依据 。 
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10-13 ”客户 端 和 Web 服务 器 通过 256K 连接 通信 
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图 10-14 客户 端 和 Web 服务 器 通过 了 T! 连接 通信 


(2) 故障 定位 举例 

下 面 举 两 个 例子 ， 说 明 如 何 对 性 能 问题 进行 故障 定位 。 

。 第 一 个 例子 命名 为 Task1， 访 问 一 个 网 页 ， 例 如 www.cnn.com， 速 度 较 慢 ， 问 题 
出 在 哪里 ? 为 了 实现 故障 定位 ， 需 要 关注 的 问题 如 下 。 

Ju 性 能 问题 在 哪里 。 


如 图 10-15 所 示 , 在 初始 的 DNS 请 求 之 后 有 一 个 8 秒 的 间隔 ， 也 就 是 服务 器 为 了 响 
应 DNS 请 求 花费 了 8 秒 钟 时 间 。 


如 图 10-16 和 图 10-17 所 示 , 线程 4、5、6 所 关联 的 数据 包 之 间 有 10 秒 的 时 间 间 隔 。 
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图 10-17 与 线程 4、5、6 相关 数据 包 的 Bounce 信息 


@ 这 个 应 用 涉及 哪些 服务 器 。 
这 个 应 用 涉及 一 个 DNS 服务 器 和 一 个 .Web 服务 器 “www..CNN.com”。 如 图 10-18 
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所 示 为 应 用 会 话 图 。 
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图 10-18 应 用 会 话 


@ 流量 中 哪些 是 有 效 的 。 
从 图 10-19 所 示 可 知 有 效 负 载 达 到 90.9% ， 应 用 流量 效率 较 商 。 
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图 10-19 ”流量 负载 


@ 流量 的 高 峰 期 如 何 。 . - 


从 图 10-20 可 以 看 到 ，25 一 30 秒 之 间 应 用 产生 了 持续 流量 高 峰 ， 可 以 将 这 个 高 巍 与 
相关 执行 的 线程 关联 起 来 。 

e 第 二 个 例子 是 一 个 对 比 测试 , 我 们 来 看 如 图 10-21 所 示 的 Taskl 与 Task2 的 测试 

Task1 的 执行 时 间 是 3.43 秒 ，Task2 的 执行 时 间 是 5.71 秒 。 为 什么 Task2 的 流量 小 
于 Task1， 而 执行 时 间 却 长 于 Task1? 是 否 存 在 性 能 问题 ? 
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图 10-21 Taskl 与 Task2 应 用 数据 


首先 我 们 发 现在 应 用 执行 的 开始 存在 一 个 1 秒 的 时 间 间隔 ， 在 2~5 秒 之 间 有 一 个 
超过 2 秒 的 时 间 间 隔 。 如 图 10-22 所 示 为 应 用 Bounce 图 。 
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图 10-22 应 用 Bounce 


那么 问题 发 生 在 客户 端 、 服 务 器 还 是 在 网 络 上 ? 
客户 端 发 出 一 个 请 求 ，Web 服务 器 响应 ,在 1 秒 之 后 又 发 出 了 同样 的 HTTP/GET 请 
求 ， 说 明 第 一 个 请 求 失败 。 如 图 10-23 所 示 为 HTTP 线程 与 Bounce 关联 图 。 
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图 10-23 ”HTTP 线程 与 Bounce 关联 图 


最 后 一 个 Oracle SQL 请 求 在 物理 时 刻 1.65 秒 时 发 生 ， 而 下 一 个 HTTP/GET 请 求 直 
到 物理 时 刻 4.88 秒 时 才 发 生 ， 说 明 在 请 求 之 间 存 在 较 长 时 间 间 隔 ， 服 务 器 空闲 。 

从 如 图 10-24 所 示 的 Oracle 线程 与 Bounce 关联 图 可 知 ， 每 个 时 间 间 隔 之 后 ， 系 统 
都 在 等 待 客户 端 ， 可 以 初步 将 故障 定位 在 客户 端 ， 下 面 可 以 进一步 验证 。 
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图 10-24 ”Oracle 线程 与 Bounce 关联 图 


从 图 10-25 可 以 看 出 ， 响 应 时 间 分 析 显 示 客 户 端 响应 时 间 为 4.6 秒 ， 总 的 响应 时 间 
为 5.7 秒 ， 客 户 端 响应 时 间 占 总 响应 时 间 的 80% 左 右 ， 客 户 端的 响应 时 间 较 长 。 下 面 从 
线程 代码 级 再 做 进一步 验证 。 

从 图 10-26 所 示 的 线程 分 析 可 以 看 到 ， 发 生 延 迟 的 HTTP 请 求 都 发 生 在 客户 端 。 
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3， 硬 件 问题 的 诊断 

(1) 物理 层 及 其 诊断 

物理 层 是 OSI 分 层 结构 体系 中 最 基础 的 一 屋 ， 它 建立 在 通信 媒体 的 基础 上 ， 实 现 系 
统 和 通信 媒体 的 物理 接口 ， 为 数据 链 路 实体 之 间 进 行 透明 传输 ， 为 建立 、 保 持 和 断 开 计 
算 机 和 网 络 之 间 的 物理 连接 提供 服务 。 

物理 层 的 故障 主要 表现 在 设备 的 物理 连接 方式 是 否 怡 当 、 连 接 电缆 是 否 正确 、 
MODEM 或 CSU/DSU 等 设备 的 配置 及 操作 是 否 正 确 等 方面 。 

确定 路 由 器 端口 物理 连接 是 否 完 好 的 最 佳 方法 是 ,使 用 show interface 命令 , 检查 每 
个 问 口 的 状态 解释 屏幕 输出 信息 ， 查 看 端口 状态 、 协 议 建 立 状 态 和 EIA 状态 。 

(2) 数据 链 路 层 及 其 诊断 

数据 链 路 层 的 主要 任务 是 ， 使 网 络 层 无 须 了 解 物理 层 的 特征 而 获得 可 靠 的 传输 。 数 


www.TopSage.com 


第 10 章 网 络 测试 427 


据 链 路 层 为 通过 链 路 层 的 数据 进行 打包 和 解 包 、 差 错 检测 ， 并 具有 一 定 的 校正 能 力 ， 协 
调 共 享 介 质 。 在 数据 链 路 层 交 换 数据 之 前 ， 协 议 关注 的 是 形成 帧 和 同步 设备 。 

查找 和 排除 数据 链 路 层 的 故障 ， 需 要 查看 路 由 器 的 配置 ， 检 查 连 接 端 口 的 共 译 同一 
数据 链 路 层 的 封装 情况 。 每 对 接口 要 和 与 其 通信 的 其 他 设备 有 相同 的 封装 。 通 过 查看 路 
由 器 的 配置 检查 其 封装 ， 或 者 使 用 show 命令 查看 相应 接口 的 封装 情况 。 

(3) 网 络 层 及 其 诊断 

网 络 层 提供 建立 、 保 持 和 释放 网 络 层 连接 的 手段 ， 包 括 路 由 选择 、 流 重 控制 、 传 输 
确认 、 中 断 、 差 错 及 故障 恢复 等 。 

排除 网 络 层 故障 的 基本 方法 是 : 沿 着 从 源 到 目标 的 路 径 ， 查 看 路 由 器 路 由 表 ， 同 时 
检查 路 由 器 接口 的 吓 地 址 。 如 果 路 由 没有 在 路 由 表 中 出 现 ,应 该 通过 检查 来 确定 是 否 已 
经 输入 适当 的 和 语 态 路 由 、 默 认 路 由 或 者 动态 路 由 。 然 后 手工 配置 一 些 丢失 的 路 由 ， 或 者 
排除 一 些 动态 路 由 选择 过 程 的 故障 ， 包 括 RIP 或 者 IGRP 路 由 协议 出 现 的 故障 。 


10.5 结论 
现今 的 网 络 测试 ， 尤 其 是 网 络 应 用 测试 与 软件 测试 的 关系 日 渐 紧 密 ， 通 过 网 络 测试 
可 以 获得 网 络 行为 的 指标 参数 ， 可 以 有 效 地 提高 网 络 系统 及 网 络 应 用 运行 质量 。 我 国 的 


网 络 测试 还 处 于 起 步 阶 段 ， 需 要 参考 国外 测试 领域 的 相关 资料 和 文献 ， 不 断 发 展 提高 测 
试 技术 。 
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11.1 概述 


软件 系统 的 安全 性 是 信息 安全 的 一 个 重要 组 成 部 分 ， 而 软件 是 由 程序 、 数 据 和 文档 
组 成 的 。 根据 国家 标准 GB/T 16260 一 1996《 信 息 技术 ”软件 产品 评价 质量 特性 及 其 使 用 
指南 》, 软件 安全 性 是 与 防止 对 程序 及 数据 的 非 授权 的 故意 或 意外 访问 的 能 力 有 关 ”的 软 
件 属性 。 所 以 ， 针 对 程序 和 数据 的 安全 性 测试 是 软件 安全 性 测试 的 重要 内 容 。 

在 软件 的 质量 特性 中 ， 安 全 性 与 功能 、 易 用 性 有 较 大 的 关联 ， 安 全 性 是 通过 某 些 功 
能 的 实现 来 体现 的 ， 易 用 性 与 安全 性 紧密 联系 ， 同 时 也 存在 了 矛盾。 通常 易 用 性 强 的 软件 
系统 安全 性 相对 较 差 ， 安 全 性 较 商 的 软件 系统 易 用 性 也 比较 能。 

在 进行 安全 性 测试 时 应 当 考 虑 软件 系统 应 用 领域 ， 以 及 软件 系统 本 身 对 安全 性 的 要 
求 , 并 且 安 全 性 需求 应 该 与 功能 、 易 用 性 等 希 求 相 协调 ,取得 软件 系统 整体 性 能 的 平衡 点 。 


11.2 ” 剖 试 与 评估 内 容 


11.2.1 用 户 认证 机 制 


用 户 认 证 就 是 指 软件 系统 用 户 在 使 用 软件 或 系统 时 ， 必 须 提供 用 户 身份 证 明 ， 然 后 
软件 系统 根据 用 户 数 据 库 的 资料 ， 开 放 特 定 的 权限 给 登录 用 户 。 

最 普通 的 用 户 认证 就 是 口令 ， 口令 具有 共享 秘密 的 属性 。 例 如 ， 要 使 服务 器 操作 系 
统 识 别 要 登录 系统 的 用 户 , 最 简单 的 口令 认证 是 用 户 将 他 的 用 户 名 和 口令 传输 给 服务 器 。 
服务 器 就 将 该 用 户 名 和 口令 与 数据 库 里 的 用 户 名 和 口令 进行 比较 ， 如 果 相 符 ， 就 通过 了 
认证 ， 可 以 访问 系统 资源 。 

目前 主要 的 用 户 认 证 机 制 有 如 下 几 种 。 

e。 数字 证 书 。 这 是 一 种 检验 用 户 身份 的 电子 文件 ， 提 供 较 强 的 访问 控制 ， 并 具有 

较 高 的 安全 性 和 可 靠 性 。 这 种 证 书 可 以 授权 购买 。 
e。 智能 卡 。 这 种 解决 办 法 可 以 持续 较 长 的 时 间 ， 并 且 更 加 灵活 ， 存 储 信息 更 多 ， 
并 具有 可 供 选 择 的 管理 方式 。 
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。 双重 认证 。 系 统 不 是 采用 一 种 认证 方式 ， 而 是 采用 两 种 或 多 种 认证 方式 ， 这 些 
认证 方式 包括 令 牌 、 智能 卡 和 仿生 装置 ， 如 视网膜 或 指纹 扫描 医 等 ， 例如 同时 
使 用 ATM 卡 和 PIN 卡 进行 双重 认证 。 

e。 安全 电子 交易 ‘SET) 协议 。 它 是 电子 商务 中 安全 电子 交易 的 一 个 国际 标准 。 
其 主要 目的 是 解决 信用 卡 电子 付款 的 安全 保障 性 问题 ， 保 证 信息 的 机 密 性 ， 保 
证 信息 安全 传输 ， 不 能 被 窃听 ， 只 有 收 件 人 才能 得 到 和 解密 信息 。 保 证 支付 信 
息 的 完整 性 ， 保 证 传输 数据 完整 地 被 接收 ， 在 中 途 不 被 自 改 。 认 证 商家 和 客户 ， 
验证 公共 网 络 上 进行 交易 活动 的 商家 、 持 卡 人 及 交易 活动 的 合法 性 。 广 泛 的 互 
操作 性 ， 保 证 采用 的 通信 协议 、 信 息 格式 和 标准 具有 公共 适应 性 。 从 而 可 在 公 
共 互 联网 络 上 集成 不 同 厂商 的 产品 。 

用 户 认证 机 制 是 保证 数据 安全 的 基础 ， bd 

评价 认证 机 制 的 合理 性 。 


11.2.2 ”加 密 机 制 


加 密 机 制 是 保护 数据 安全 的 重要 手段 ， 加 密 的 基本 过 程 就 是 对 原来 为 明文 的 文件 或 
数据 ， 按 某 种 算法 进行 处 理 ， 使 其 成 为 不 可 该 的 一 段 代 码 ， 通常 称 为 “ 密 文 "， 使 其 只 能 
在 输入 相应 的 密 钥 之 后 才能 显示 出 明文 内 容 ， 通 过 这 样 的 途径 来 达到 保护 数据 不 被 非 
法 窃取 、 阅 读 的 目的 。 该 过 程 的 逆 过 程 为 解密 ， 即 将 该 编码 信息 还 原 为 其 原来 数据 的 
过 程 。 

密码 函数 可 用 来 作为 加 窗 、 解 密 、 保 证 数据 完整 性 、 鉴别 交换 、 口令 存储 与 检验 等 
的 一 部 分 ， 借 以 达到 保密 和 鉴别 的 目的 当 用 于 机 密 性 的 加 密 时 ， 密 码 技术 被 用 于 把 敏感 
性 较 强 的 数据 ( 即 受 保护 的 数据 ) 变换 成 敏感 性 较 弱 的 形式 。 当 用 于 保证 数据 完整 性 或 
监 别 交换 时 ， 密 码 技术 被 用 来 计算 不 可 伪造 的 函数 。 加 密 开 始 时 ， 在 明文 上 实施 以 产生 
密 文 ， 解 密 的 结果 或 是 明文 ， 或 是 在 某 种 掩护 下 的 密 文 。 使 用 明文 作 通用 的 处 理 在 计算 
上 是 可 行 的 ， 它 的 语义 内 容 是 可 以 理解 的 。 除 了 以 特定 的 方式 ， 密 文 是 不 能 用 来 计算 的 ， 
因为 它 的 语义 内 容 已 隐藏 起 来 。 有 了 时 故意 让 加 密 是 不 可 逆 的 (例如 截 短 或 数据 丢失 )， 这 
样 做 的 目的 是 不 希望 导出 原来 的 明文 ， 例 如 口令 。 

密码 技术 能 够 提供 或 有 助 于 提供 相关 保护 ， 以 防止 消息 流 的 观察 和 短 改 、 通 信 业 务 
流 分 析 、 抵 赖 、 伪 造 、 非 授权 连接 、 舌 改 消息 等 行为 的 出 现 。 主要 用 于 密码 的 保护 、 数 
据 的 传输 过 程 中 的 安全 防护 、 数 据 存储 过 程 的 安全 防护 等 。 

不 同 加 密 机 制 或 密码 函数 的 用 途 、 强 度 是 不 相同 的 ， 一 个 软件 或 系统 中 的 加 密 机 制 
使 用 得 是 否 合理 ， 强 度 是 否 满足 当前 需求 ， 是 需要 通过 测试 来 完成 的 ， 通 常 模拟 解密 是 
测试 的 一 个 重要 手段 。 
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11.2.3 ”安全 防护 策略 


安全 防护 策略 是 软件 系统 对 抗 攻 击 的 主要 手段 ， 安 全 防护 策略 主要 有 安全 日 志 、 入 
侵 检 测 、 隔 离 防护 、 潮 洞 扫描 等 。 

安全 日 志 是 记录 非法 用 户 的 登录 名 称 、 操 作 时 间 及 内 容 等 信息 ， 以 便于 发 现 问题 并 
提出 解决 指 施 。 安 全 日 志 仅 记录 相关 信息 ， 不 对 非法 行为 作出 主动 反应 ， 因 此 属于 被 动 
防护 的 策略 。 

入 侵 检测 系统 是 一 种 主动 的 网 络 安全 防护 措施 ， 它 从 系统 内 部 和 各 种 网 络 资源 中 主 
动 采集 信息 ， 从 中 分 析 可 能 的 网 络 入 侵 或 攻击 。 一 般 来 说 ， 入 侵 检测 系统 还 应 对 入 侵 行 
为 作出 紧急 啊 应 。 入 侵 检 测 被 认为 是 防火 增 之 后 的 第 二 道 安全 闸门 ， 在 不 影响 网 络 性 能 
的 情况 下 能 对 网 络 进行 监测 ， 从 而 提供 对 内 部 攻击 、 外 部 攻击 和 误 操 作 的 实时 保护 。 

漏洞 扫描 就 是 对 软件 系统 及 网 络 系统 进行 与 安全 相关 的 检测 ， 以 找 出 安全 隐患 和 可 
被 黑客 利用 的 漏洞 ， 同 时 漏洞 扫描 技术 也 是 安全 性 测试 的 一 项 必要 手段 。 

隔离 防护 是 将 系统 中 的 安全 部 分 与 非 安全 部 分 进行 隔离 的 措施 ， 目 前 采用 的 技术 主 
要 有 两 种 ， 即 隔离 网 阅 和 防火 墙 ， 隔 离 网 闻 属 于 近 两 年 新 兴 的 网 络 安全 技术 ， 主 要 目的 
在 于 实现 内 网 和 外 网 的 物理 隔离 ， 防火 墙 是 相对 成 熟 的 防护 技术 ， 主 要 用 于 内 网 和 外 网 
的 逻辑 隔离 。 

以 上 四 种 安全 防护 策略 通常 会 结合 应 用 ， 但 是 任何 防护 指 施 都 存在 局 限 性 。 软 件 系 
统 的 安全 性 与 软 硬 件 设备 的 安全 特性 、 人 为 制定 的 安全 防护 规则 等 奶奶 相关 。 所 以 安全 
防护 策略 、 软 硬件 设备 的 安全 特性 ， 以 及 人 为 制定 的 安全 防护 规则 都 在 测试 的 范围 内 。 


11.2.4 ”数据 备份 与 恢复 手段 


备份 与 恢复 是 一 种 数据 安全 策略 ， 从 软件 系统 本 身 角度 ， 我 们 认为 任何 一 款 软 件 系 
统 都 应 当 提 供 数据 的 备份 与 恢复 功能 ， 对 自身 的 数据 进行 保护 。 目 前 通 稍 的 做 法 是 利用 
数据 库 原 有 的 备份 与 恢复 机 制 ， 这 种 方式 的 实现 比较 简单 ， 通 常用 于 中 小 型 软件 系统 的 
备份 。 对 于 大 型 软件 系统 来 说 ， 通 常 的 做 法 是 通过 备份 软件 把 数据 备份 到 磁带 上 ， 在 原 
始 数据 丢失 或 遭 到 破坏 的 情况 下 ， 利 用 备份 数据 把 原始 数据 恢复 出 来 ， 使 系统 能 够 正常 
工作 。 理 想 的 备份 系统 是 全 方位 、 多 层次 的 。 例 如 : 使 用 硬件 备份 来 防止 硬件 故障 ; 如 
果 由 于 软件 故障 或 人 为 误 操 作 造 成 了 数据 的 逻辑 损坏 ， 则 使 用 软件 方式 和 手工 方式 结合 
的 方法 恢复 系统 。 这 种 结合 方式 构成 了 对 系统 的 多 级 防护 ， 不 仪 能 够 有 效 地 防止 物理 损 
十， 还 能 够 彻底 防止 逻辑 损 十 。 理 想 的 备份 系统 成 本 太 高 ， 不 易 实现 。 在 设计 备份 方案 
时 ， 往 往 只 选用 简单 的 硬件 备份 措施 ， 而 将 重点 放 在 软件 备份 措施 上 ， 用 融 性 能 的 备份 
软件 来 防止 逻辑 损坏 和 物理 损坏 。 
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数据 备份 与 恢复 技术 通常 会 涉及 以 下 几 个 方面 。 

。 存储 设备 ,磁盘 阵列 、 磁 带 机 (磁带 库 )、 光 盘 库 、SAN 设备 。 

。 存储 优化 : DAS、NAS、SAN。 

。 存储 保护 ， 磁盘 阵 列 、 双 机 容错 、 集 群 、 备 份 与 恢复 。 

。 存储 管理 ,数据库 备份 与 恢复 、 文 件 与 卷 管理 、 复 制 、SAN 管理 。 

从 上 面 可 以 看 出 ， 数 据 备份 与 恢复 是 涉及 计算 机 工程 和 软件 工程 的 综合 安全 技术 ， 
因此 有 必要 对 软件 或 系统 的 数据 备份 与 恢复 的 效果 进行 测试 ， 保 证 实际 数据 的 安全 性 。 


11.2.5 防 病 毒 系统 


计算 机 病毒 的 发 展 日 益 独 锋 ， 已 经 成 为 软件 系统 的 大 敌 ， 因 此 有 必要 采用 全 面 的 计 
算 机 病 诲 控制 手段 进行 病毒 的 防范 ， 基 本 的 防 斑 技术 包含 如 下 几 部 分 。 

1. 集中 式 管 理 、 分 布 式 杀毒 

对 局 域 网 进行 远程 集中 式 安全 管理 ， 统 一 升级 杀毒 引擎 和 病毒 定义 ， 并 可 通过 账号 
和 口令 设置 移动 控制 台 。 并 且 采 用 先进 的 分 布 技术 ， 利 用 本 地 资源 和 本 地 杀毒 引 葡 ， 对 
本 地 节点 的 所 有 文件 全 面 、 及 时 、 商 效 地 查 杀 病毒 ， 同 时 保障 用 户 的 隐私 ， 减 少 网 络 传 
输 的 负载 ， 避 免 因 大 重 传输 文件 而 引起 网 络 拥塞 。 目 前 ， 杀 毒 软件 中 较为 流行 的 两 种 集 
中 管理 方式 如 下 。 

。 以 策略 为 中 心 〈 如 图 11-1 所 示 )。 


11-1 以 策略 为 中 心 进行 网 络 杀 性 管理 
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以 违 辑 上 的 策略 域 进行 杀 毒 策略 的 部 署 ， 一 般 由 策略 服务 器 《或 中 心服 务 器 ) 负责 
实现 网 络 杀毒 策略 的 部 署 ， 这 种 方式 可 以 脱离 网 络 拓扑 结构 ， 部 团 较 灵活 。 
。 以 服务 器 为 中 心 (如 图 11-2 所 示 )。 


图 11-2 ”以 服务 器 为 中 心 进行 网 络 杀 毒 管理 


以 物理 上 的 网 络 服务 器 为 中 心 ， 进 行 网 络 杀毒 的 管理 ， 这 种 方式 与 网 络 拓扑 结构 融 
合 ， 使 管理 更 加 方便 。 

2。 数据 库 技 术 、LDAP 技术 的 应 用 

由 于 网 络 杀 毒 工作 的 日 益 复 杂 ， 一 些 网 络 杀 毒 软件 厂商 已 经 开始 使 用 数据 库 技 术 和 
LDAP 技术 进行 策略 和 日 志 的 存储 、 用 户 管理 等 ， 不 但 增强 了 用 户 管理 能 力 、 策 略 组 织 
能 力 、 提 高 了 策略 调用 速度 ， 而 且 便于 以 后 向 日 志 分 析 等 方面 扩展 。 

3。 多 引 药 支持 

我 们 知道 ， 对 于 网 络 安全 来 说 ， 只 有 相对 安全 而 没有 绝对 的 安全 ， 而 对 于 杀毒 引擎 
来 说 ， 我 们 并 不 能 说 一 种 杀毒 技术 或 杀毒 引 苟 能够 查 杀 任何 病毒 ， 因 此 对 于 多 引擎 技术 
来 说 ， 即 使 使 用 多 项 杀毒 技术 进行 网 络 杀 毒 ， 可 以 有 效 地 提高 网 络 杀 毒 的 成 功率 ， 但 是 
必然 会 增加 网 络 杀毒 软件 的 复杂 度 。 

4. 不 同 操作 系统 的 防护 

由 于 计算 机 网 络 应 用 的 不 断 增 加 ， 导 致 计算 机 病毒 入 侵 途 径 日 益 增 多 ， 并 且 对 于 茶 
些 网 络 上 的 设备 , 如 Linux、UNIX 服务 器 来 说 , 虽然 其 本 身受 病毒 侵害 的 程度 相对 较 低 ， 
但 是 却 也 成 为 病毒 存储 的 温床 和 发 源 地 。 因 此 ， 网 络 杀 毒 体系 将 会 从 单一 设备 或 单一 系 
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统 ， 发 展 成 为 一 个 整体 的 解决 方案 ， 并 与 网 络 安全 系统 有 机 地 融合 在 一 起 。 对 软件 系 
统 来 讲 ， 无 论 是 服务 器 还 是 客户 端 都 应 该 得 到 保护 。 目 前 ， 现 有 的 网 络 杀毒 软件 通 党 
都 可 以 扩展 到 对 于 数据 库 服务 器 、 文 件 服务 器 、 邮 件 服务 器 、Lotus 服务 器 等 的 病毒 
防护 。 

S， 远 程 安装 或 分 发 安装 

有 实现 不 同 物理 区 域 的 数 十 台 ， 甚 至 成 百 上 

， 客 户 端 服务 器 的 杀毒 模块 的 安装 ， 因 此 要 求 管理 员 本 地 安装 是 不 现实 的 。 目前 系 

统一 般 提供 两 种 方式 进行 客户 端的 远程 安装 一 种 是 通过 Windows 系统 远程 控制 命令 进 
行 批量 客户 端的 远程 安装 , 另外 一 种 方式 是 让 所 有 的 用 户 通过 Web 页 面 下 载 客户 端 日 行 
安装 ， 任 何 一 种 方式 都 需要 通过 管理 手段 和 技术 手段 实现 。 

人 该 对 网 络 防毒 软件 的 选 购 、 部 加 方式 、 策 略 定 义 进行 评 信 
和 测试 。 


11.3 ”安全 系统 测试 策略 


11.3.1 基本 安全 防护 系统 测试 


基本 安全 防护 系统 一 般 采 用 防火 墙 、 入 侵 检 测 、 漏 洞 扫描 、 安 全 审计 、 病 毒 防治 、 
Web 信息 防 自 改 、 物 理 安 全 等 基础 安全 技术 ， 以 保障 应 用 系统 的 安全 。 针 对 不 同 的 安全 
技术 ， 设 计 的 测试 点 如 下 。 

。 防火 墙 。 

Q 是 否 支持 交换 和 路 由 两 种 工作 模式 ; 

@ 是 否 支持 对 HTTP、FTP、SMTP 等 服务 类 型 的 访问 控制 ; 

@ 是 否 考 虑 到 防火 墙 的 元 余 设计 ，; 

@ 是 否 支 持 对 日 志 的 统计 分 析 功 能 ， 同 时 ， 日 志 是 否 可 以 存储 在 本 地 和 网 络 数据 
库 上 ; 

@@ 对 防火 墙 本 身 或 受 保护 网 段 的 非法 攻击 系统 ， 是 否 提供 多 种 告警 方式 以 及 多 种 
级 别 的 告警 。 

。 入 侵 监测 系统 。 

中 能 否 在 检测 到 入 侵 事 件 时 , 自动 执行 切断 服务 、 记 录入 侵 过 程 . 邮件 报警 等 动作 ; 

@ 是 否 支 持 攻击 特征 信息 的 集中 式 发 布 和 攻击 取证 信息 的 分 布 式 上 载 ; 

@) 能 否 提供 多 种 方式 对 监视 引 警 和 检测 特征 的 定期 更 新 服务 ; 

@ 内 置 的 网 络 能 和 否 使 用 状况 监控 工具 和 网 络 监听 工具 。 
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e。 漏洞 扫描 。 

能 否定 期 或 不 定期 地 使 用 安全 性 分 析 软 件 ， 对 整个 内 部 系统 进行 安全 扫描 ， 及 时 发 
现 系 统 的 安全 漏洞 、 报 警 ， 并 提出 补救 建议 。 

。 病毒 防治 。 

@ 能 否 支持 多 种 平台 的 病毒 防范 ; 

能 否 支 持 对 服务 器 的 病毒 防治 ; 

@ 能 和 否 支 持 对 电子 邮件 附件 的 病毒 防治 ; 

@ 能 否 提供 对 病毒 特征 信息 和 检测 引擎 的 定期 在 线 更 新 服务 ; 

@@ 防 病毒 范围 是 否 广 泛 ， 是 否 包括 UNIX 系列 、Windows 系列 、Linux 系列 等 操作 

e。 安全 审计 。 

GD 能 否 进行 系统 数据 收集 ， 统 一 存储 ， 集 中 进行 安全 审计 ; 

加 是 否 支 持 基 于 PKI 的 应 用 审计 

图 是 否 支 持 基 于 XML 的 审计 数据 采集 协议 ; 

是 否 提供 灵活 的 自 定义 审计 规则 。 

。 Web 信息 防 自 改 系统 。 

是 否 支 持 多 种 操作 系统 ; 

@ 是 否 具 有 集成 发 布 与 监控 功能 ， 使 系统 能 够 区 分 合法 更 新 与 非法 自 改 ; 

G@) 是 否 可 以 实时 发 布 和 备份 ; 

是 否 具备 自动 监控 、 自 动 恢 复 、 自 动 报警 的 能 力 ; 

@@ 是 否 提 供 日 志 管理 、 扫 描 策 略 管理 和 更 新 管理 。 


11.3.2 ”安全 系统 防护 体系 


对 业务 系统 进行 全 面 保障 的 安全 体系 ， 主 要 体现 在 以 下 7 个 层次 。 

Q@ 实体 安全 : 基础 设施 的 物理 安全 ; 

@ 平台 安全 : 网 络 平台 、 计 算 机 操作 系统 、 基 本 通用 应 用 平台 《服务 /数据 库 等 ) 
的 安全 ; 

@ 数据 安全 : 系统 数据 的 机 密 性 、 完 整 性 、 访 问 控制 和 可 恢复 性 ; 

通信 安全 : 系统 之 间 数 据 通信 和 会 话 访问 不 被 非法 侵犯 ; 

@ 应 用 安全 : 业务 运行 逻辑 安全 /业务 资源 的 访问 控制 ; 业务 交往 的 不 可 抵赖 性 / 业 
务实 体 的 身份 鉴别 /业务 数据 的 真实 完整 性 ; 

运行 安全 : 对 系统 安全 性 的 动态 维护 和 保障 , 控制 由 于 时 间 推 移 和 系统 运行 导致 
安全 性 的 变化 ; 
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@ 管理 安全 : 对 相关 的 人 员 、 技 术 和 操作 进行 管理 ， 总 找 以 上 各 安全 要 只 并 进行 
控制 。 

安全 性 测试 策略 针对 这 7 个 层次 进行 测试 和 评估 。 

安全 系统 的 主要 构成 一 般 包 括 证 书 业 务 服 务 系统 、 证 书 查 询 验 证 服务 系统 、 密 钥 管 
理 系 统 、 密 码 服 务 系统 、 授 权 管 理 服务 系统 、 可 信和 时 间 稚 服务 系统 、 网 络 信任 域 系 统 、 
基本 安全 防护 系统 等 。 在 后 续 的 章节 中 ， 我 们 将 针对 这 些 关 键 技术 ， 提 出 详细 的 测试 
策略 。 

1. 证 书 业务 服务 系统 测试 

证 书 业 务 服务 主要 包括 证 书 认 证 及 证 书 审核 注册 两 项 功能 。 对 证 书 业 务 服务 的 测试 
主要 是 结合 业务 应 用 系统 的 特点 ， 分 析 业 务 系统 运行 实际 面临 的 威胁 ， 验 证 证 书 业 务 服 
务 系 统 的 功能 和 性 能 是 否 满足 需求 。 

对 证 书 业务 服务 系统 的 功能 测试 主要 从 以 下 几 个 方面 进行 ; 

e 证书 认证 系统 是 否 采用 国家 密码 主管 部 门 审批 的 签名 算法 完成 签名 操作 ， 是 否 

提供 证 书 的 签发 和 管理 、 证 书 撤销 列表 的 签发 和 管理 、 证 书 /证 书 撤销 列表 的 发 
布 以 及 证 书 审核 注册 中 心 的 设立 、 审 核 及 管理 等 功能 ; 

。  ” 按 使 用 对 象 分 类 ， 系 统 是 否 能 提供 人 员 证 书 、 设 备 证 书 、 机 构 证 书 三 种 类 型 的 
证 书 ; 
是 否 可 以 提供 加 密 证 书 和 签名 证 书 ， 
数字 证 书 格式 是 否 采 用 X.509 V4; 
系统 是 否 提 供 证 书 申请 、 身 份 审核 、 证 书 下 载 等 服务 功能 ; 
证 书 申 请 、 身 份 审核 、 证 书 下 载 等 服务 是 否 都 可 采用 在 线 或 离线 两 种 方式 ; 
系统 是 否 提供 证 书 认 证 策略 及 操作 策略 管理 、 自身 证 书 安全 管理 等 证 书 管理 
服务 。 

对 证 书 业务 服务 系统 还 要 进行 性 能 测试 ， 以 验证 是 否 满足 用 户 的 需求 。 一 般 性 能 测 
试 需要 考虑 以 下 几 个 方面 ; 
检查 证 书 业务 服务 系统 设计 的 处 理性 能 是 否 具 备 可 伸缩 配置 及 扩展 的 能 力 ; 
关键 部 分 是 否 采 用 双 机 热 备份 和 磁盘 镜像 ; 
是 否 满足 系统 的 不 间断 运行 、 在 线 故 障 修复 和 在 线 系 统 升 级 。 
是 否 满足 需求 说 明 中 预测 的 最 大 数量 用 户 正常 访问 的 需求 ， 并 且 ， 是 否 有 3 一 4 
倍 的 元 余 ， 如 有 必要 ， 和 需要 测试 系统 的 并 发 压力 承受 能 力 。 

2. 证 书 查询 验证 服务 系统 测试 

证 书 查 询 验 证 服务 系统 为 应 用 系统 提供 证 书 认 证 服务 ， 对 证 书 查询 验证 服务 系统 的 
功能 测试 ， 从 以 下 几 个 方面 进行 ; 
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。 是否 能 够 提供 目录 管理 与 证 书 查 询 两 种 主要 服务 功能 ; z 

e。 是否 能 够 根据 用 户 网 络 设置 需求 ， 采 用 集中 式 与 分 布 式 两 种 方式 构建 目录 管理 
服务 ; 

e。 系统 是 否 能 提供 证 书 和 证 书 撤销 列表 的 发 布 、 证 书 和 证 书 撤销 列表 的 下 载 、 证 
书 和 证 书 撤 销 列表 的 更 新 、 证 书 和 证 书 撤销 列表 的 恢复 、 基 于 LDAP 技术 的 目 
录 访 问 控制 服务 、 目 录 查 询 等 安全 服务 功能 ， 

。 是 否 提供 基于 OCSP 技术 的 证 书 在 线 状 态 查 询 服务 。 

同时 ， 如 有 必要 ， 还 需 进 行 下 面 的 性 能 测试 和 评估 : 

。 系统 是 否 满 足 一 定数 量 的 基本 的 LDAP 查询 和 OCSP 查询 并 发 ; 


e ”是否 具备 可 伸缩 配置 及 扩展 能 力 ; 


。 是否 能 为 应 用 系统 提供 LDAP、OCSP 查询 接口 和 C/C++/C# 和 和 Java SR 

3， 密 钥 管 理 系统 测试 

密 钥 管理 系统 是 整个 安全 系统 的 基础 ， 对 密 钥 管 理 系统 的 测试 需要 考虑 以 下 几 点 ， 

e 是 否 制 定 了 密 钥 管 理 策 略 ; 

e。 是 否 具 备 密 钥 生 成 、 密 钥 发 送 、 密 钥 存储 、 密 钥 查询 、 密 钥 撤 消 、 密 钥 恢复 等 

基本 功能 : 

密 钥 库 管理 功能 是 否 完善 ; 

密 钥 管理 中 心 的 系统 、 设 备 、 数 据 、 人 员 等 安全 管理 是 否 严密 ; 

密 钥 管理 中 心 的 审计 、 认 证 、 恢 复 、 统 计 等 系统 管理 是 否 具 备 ; 

密 钥 管理 系统 与 证 书 认证 系统 之 间 是 否 采 用 基于 身份 认证 的 安全 通信 协议 。 

对 于 大 型 系统 ， 还 需 考 虑 进行 以 下 的 性 能 测试 : 

。 针对 按 实际 需要 配置 密 钥 管 理 系 统 ， 利 用 企业 级 的 并 发 压力 测试 工具 测试 受 
理 点 连接 数 、 签 发 在 用 证 书 数目 、 密 钥 发 放 并 发 请 求 数 是 否 满足 基本 业务 
需求 ， 

9 测试 是 否 具备 系统 所 需 最 大 量 的 密 钥 生 成 、 存储 、 传 送 、 发 布 、 归 档 等 密 钥 管 

理 功 能 ; 

测试 是 否 支 持 密 钥 5 年 (或 用 户 要 求 的 年 限 ) 保存 期 ; 

是 否 具 备 异 地 容 灾 备份 ; 

是 否 具 备 可 伸缩 配置 及 扩展 能 力 ; 

关键 部 分 是 否 采 用 双 机 热 备 份 和 磁盘 镜像 。 

。 密码 服务 系统 测试 

通常 在 客户 端 和 服务 器 端 都 要 提供 密码 服务 。 对 密码 服务 系统 的 测试 包括 : 

e ”是否 具备 基础 加 解密 服务 功能 ; 
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。 能 否 为 应 用 提供 相对 稳定 的 统一 安全 服务 接口 ; 
。 能 否 提 供 对 多 密码 算法 的 支持 ; 
。 随 着 业务 量 的 逐渐 增加 ， 是 否 可 以 灵活 地 增加 密码 服务 模块 ， 实 现 性 能 平滑 扩 
展 ， 且 不 影响 上 层 的 应 用 系统 。 
对 密码 服务 系统 的 性 能 测试 有 以 下 方面 。 
。 RSA 算法 密 钥 长 度 能 否 达 到 1024~2048 位 ;ECC 算法 密 钥 长 度 能 否 达到 192 位 ; 
。 如 有 必要 进行 系统 速度 测试 ， 对 应 用 层 的 服务 器 端 密 码 设 备 测试 项 包括 : 公 钥 
密码 算法 签名 速度 、 公 钥 密 码 算法 验证 速度 、 对 称 密 钥 密码 算法 加 解密 速度 ， 
对 应 用 层 的 客户 端 密码 设备 测试 项 包括 ， 公 钥 密 码 算 法 签名 速度 、 公 钥 密码 算 
法 验证 速度 、 对 称 密 钥 密 码 算 法 加 解密 速度 ， 验 证 是 否 满足 需求 ; 
。 处 理性 能 如 公 钥 密码 算法 签名 等 是 否 具有 扩展 能 力 。 
S$， 可 信 授 权 服 务 系统 测试 
授权 服务 系统 在 信任 服务 系统 的 基础 上 ， 为 应 用 提供 资源 的 授权 管理 及 访问 控制 服 
务 ， 有 集中 式 授 权 服 务 与 分 布 式 授权 服务 两 种 工作 模式 。 
对 集中 式 授 权 服 务 的 测试 ， 主 要 验证 其 是 否 具有 用 户 管理 、 审 核 管 理 、 资 源 管理 、 
角色 管理 等 主要 功能 。 
对 分 布 式 授 权 服 务 的 测试 主要 验证 其 是 否 有 资源 访问 的 签名 授权 、 授 权 管 理 等 
功能 。 
如 有 必要 ， 对 可 信和 授权 服务 系统 的 测试 还 要 考虑 ， 利 用 并 发 压力 测试 工具 验证 系统 
是 否 满足 一 定 的 授权 服务 并 发 数 ， 以 及 系统 能 否 提供 客户 端 签名 授权 和 服务 器 端 资 源 访 
问 授权 验证 的 应 用 接口 ， 包 插 C/C++ 及 Java 等 。 
6， 可 信 时 间 稚 服务 系统 测试 
可 信和 上 时间 稚 服务 为 业务 处 理 的 不 可 抵赖 性 和 可 审计 性 提供 支持 。 对 可 信和 时 间 惟 服务 
的 测试 点 包括 : 
e 能 否 从 可 信和 时 间 源 (授时 中 心 ) 获取 时 间 ， 校 准时 间 惟 服务 器 的 时 间 ; 
。 能 否 安全 保存 时 间 改 及 相关 信息 ; 
。 采用 公 和 钥 技 术 ， 能 否 正确 签发 可 信和 的 时 间 蕉 。 
一 般 对 可 信 时 间 改 服务 的 测试 ， 还 考虑 以 下 性 能 测试 : 
。 时 间 精 度 能 否 达 到 0.1 秒 或 用 户 的 需求 水 平 ; 
。 验证 系统 时 间 惟 并 发 请 求 数 能 否 达 到 设计 要 求 ; 
。 相应 服务 单元 是 否 具有 可 扩展 性 。 
” 7。 网络 信 任 域 系统 测试 
通过 安全 审查 的 网 络 可 信 接 入 设备 和 网 络 信任 域 管理 系统 组 成 网 络 信任 域 ， 测 试点 
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包括 : 
e。 系统 是 否 具 备 接 入 认证 交换 机 ， 确 保 只 有 合法 的 才能 接 入 网 络 ; 
。 是 否 具备 网 络 信任 域 管理 系统 ， 进 行 网 络 接 入 管理 配置 。 
对 性 能 的 测试 一 般 包 括 以 下 内 容 。 
。 测试 认证 时 间 是 否 小 于 1 秒 或 用 户 的 需求 水 平 ; 
。 .测试 接 入 认证 并 发 数 是 否 满足 用 户 需 求 ; 
e。 验证 接 入 认证 交换 机 是 否 提供 与 客户 端 通信 的 遵循 IEEE 802.1X 接口 ， 传 输 
IEEE 802.1X 认证 数据 包 ，; 
。 ”验证 是 否 提 供 网 络 信 任 域 管 理 系 统 与 接 入 认证 交换 机 和 间 的 交互 接口 。 
8， 故障 恢复 与 容 灾 备份 测试 
应 用 系统 的 稳定 性 与 可 靠 性 ， 在 一 定 程度 上 取决 于 故障 恢复 和 容 灾 备 份 措施 。 一 般 
有 以 下 三 个 测试 点 。 
e 故障 恢复 。 整 个 系统 是 否 存 在 单 点 故障 ;对 于 关键 性 应 用 系统 ， 当 任何 一 台 设 
备 失 效 时 ， 技 照 预先 定义 的 规则 是 否 能 够 快速 切换 ， 是 否 采 用 磁盘 镜像 技术 ， 
实现 主机 系统 到 磁盘 系统 的 高 速 连接 ; 
e。 数据 备份 。 对 于 关键 的 业务 ， 是 否 具备 必要 的 热 备份 机 制 ， 例 如 双 机 热 备 、 磁 
盘 锁 像 等 ， 对 于 所 有 业务 ， 是 否 提供 磁带 备份 和 恢复 机 制 ， 保 证 系统 能 根据 备 
份 策略 恢复 到 指定 时 间 的 状态 ; 
。 容 灾 备 份 。 可 和 否 建 立 异地 容 灾 备 份 中 心 ， 当 主 中 心 发 生 灾难 性 事件 时 ， 由 备份 
中 心 接 管 所 有 的 业务 ;备份 中 心 是 否 有 足够 的 带宽 确保 与 主 中 心 的 数据 同步 ， 
有 足够 的 处 理 能 力 来 接管 主 中 心 的 业务 ， 能 和 否 确保 快速 可 车 地 与 主 中 心 的 应 用 
切换 。 
9， 安 全 产品 的 选择 
安全 产品 是 安全 系统 构架 的 基础 ， 合 理 地 选择 安全 类 产品 是 至 关 重 要 的 ， 我 们 给 出 
以 下 几 点 建议 。 
产品 是 否 具 有 公安 部 《计算 机 信息 系统 安全 专用 产品 销售 许可 证 》 和 检测 报告 ; 
如 果 安 全 产品 涉及 数据 加 密 ， 那 么 该 产品 的 加 密 算法 是 否 具有 国 密 办 的 批准 文 号 ; 
建议 尽量 选择 具有 中 国 自主 知识 产权 的 产品 ， 有 利于 厂家 对 产品 的 升级 与 维护 ; 
建议 尽量 选择 具有 更 先进 技术 的 安全 产品 ; 
必须 考虑 安全 产品 的 系统 处 理 速度 ， 因 为 处 理 速度 直接 影响 到 应 用 的 效果 ; 
建议 察看 安全 产品 在 权威 机 构 〈 如 公安 部 安全 产品 检测 中 心 ) 的 检测 报告 ， 涛 
察 其 各 项 安全 功能 是 否 达到 安全 要 求 。 
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11.4 安全 性 测试 方法 
11.4.1 功能 验证 


功能 验证 是 采用 软件 测试 当中 的 黑 盒 测试 方法 ， 对 涉及 安全 的 软件 功能 ， 如 :用 户 
管理 模块 、 权 限 管理 模块 、 加 密 系统 、 认 证 系统 等 进行 测试 ， 主 要 是 验证 上 述 功 能 是 否 
有 效 ， 具 体 方法 请 参见 黑 盒 测试 方法 。 


11.4.2 ”漏洞 扫描 


安全 漏洞 扫描 通常 都 是 借助 于 特定 的 漏洞 扫描 器 完成 的 。 漏 洞 扫描 器 是 一 种 自动 检 
测 远程 或 本 地 主机 安全 性 弱点 的 程序 。 通 过 使 用 漏洞 扫 摘 器 ， 系 统管 理 员 能 够 发 现 所 维 
护 信息 系统 存在 的 安全 漏洞 ， 从 而 在 信息 系统 网 络 安全 保卫 战 中 做 到 “有 的 放 拓 ”， 及 时 
修补 漏洞 。 按 常规 标准 , 可 以 将 漏洞 扫描 器 分 为 两 种 类 型 : 主机 漏洞 扫描 器 (Host Scanner) 
和 网 络 漏洞 扫描 器 (Network Scanner)。 主 机 漏洞 扫描 器 是 指 在 系统 本 地 运行 检测 系统 漏 
洞 的 程序 ， 如 著名 的 COPS、Tripewire、Tiger 等 目 由 软件 。 网 络 漏洞 扫描 器 是 指 基 于 网 
络 远程 检测 目标 网 络 和 主机 系统 漏 酒 的 程序 ， 如 Satan、ISS Internet Scanner 等 。 

安全 漏洞 扫描 是 可 以 用 于 日 常安 全 防护 ， 同 时 可 以 作为 对 软件 产品 或 信息 系统 进行 
测试 的 手段 ， 可 以 在 安全 漏洞 造成 严重 危害 前 ， 发 现 漏 洞 并 加 以 防范 。 


11.4.3 ”模拟 攻击 试验 


对 于 安全 测试 来 说 , 模拟 攻击 试验 是 一 组 特殊 的 黑 盒 测试 案例 , 我 们 以 模拟 攻击 来 
验证 软件 或 信息 系统 的 安全 防护 能 力 ， 下 面 简要 列举 在 数据 处 理 与 数据 通信 环境 中 特别 
关心 的 几 种 攻击 。 在 下 列 各 项 中 ， 出 现 了 “授权 ”与 “ 非 授权 ”两 个 术语 。“ 授 权 ” 意 指 
“授予 权力 ” 包含 两 层 意思 : 这 里 的 权力 是 指 进行 某 种 活动 的 权力 〈 例 如 访问 数据 ); 这 
样 的 权力 被 授予 某 个 实体 、 代 理 人 或 进程 。 于 是 ， 授 权 行 为 就 是 履行 被 授予 权力 〈 未 被 
撤销 ) 的 那些 活动 。 

e。 骨 充 ， 就 是 一 个 实体 假装 成 一 个 不 同 的 实体 。 冒 充 常 与 菜 些 别 的 主动 攻击 形式 
一 起 使 用 ， 特 别 是 消息 的 重演 与 自 改 。 例 如 ， 截 获 鉴别 序列 ， 并 在 一 个 有 效 的 
鉴别 序列 使 用 过 一 次 后 再 次 使 用 。 特 权 很 少 的 实体 为 了 得 到 额外 的 特权 ， 可 能 
使 用 冒充 成 具有 这 些 特权 的 实体 ， 举 例如 下 。 
Q@ 口令 猜测 : 一 旦 黑客 识别 了 一 台 主 机 ， 而 且 发 现 了 基于 NetBIOS、Telnet 或 NFS 
服务 的 可 利用 的 用 户 账号 ， 并 成 功 地 猜测 出 了 口令 ， 就 能 对 机 器 进行 控制 。 
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@ 缓冲 区 溢出 : 由 于 在 很 多 的 服务 程序 中 大 意 的 程序 员 使 用 类 似 于 “astrcpy0)， 
strcatO ”不 进行 有 效 位 检查 的 函数 ， 最 终 可 能 导致 恶意 用 户 编写 一 小 段 程 序 来 进一步 打 
开 安 全 缺口 ， 然 后 将 该 代码 放 在 缓冲 区 有 效 载荷 末尾 ， 这 样 ， 当 发 生 缓冲 区 溢出 时 ， 返 
回 指针 指向 恶意 代码 ， 执 行 恶意 指令 ， 就 可 以 得 到 系统 的 控制 权 。 
se。 重演 ， 当 一 个 消息 或 部 分 消息 为 了 产生 非 授 权 效 果 而 被 重复 时 ， 出 现 重演 。 例 
如 ， 一 个 含有 鉴别 信息 的 有 效 消息 可 能 被 另 一 个 实体 所 重演 ， 目 的 是 鉴别 它 自 
己 〈 把 它 当 作 其 他 实体 )。 

e。 消息 得 改 : 数据 所 传送 的 内 容 被 改变 而 未 被 发 觉 ， 并 导致 非 授权 后 果 ， 如 下 
所 示 。 

Q@ DNS 高 速 缓存 污染 : 由 于 DNS 服务 器 与 其 他 名 称 服 务 器 交换 信息 的 时 候 并 不 进 
行 身份 验证 ， 这 就 使 得 黑客 可 以 加 入 不 正确 的 信息 ， 并 把 用 户 引 向 黑客 自己 的 主机 。 

@@ 伪造 电子 邮件 : 由 于 SMTP 并 不 对 邮件 发 送 者 的 身份 进行 鉴定 ， 因 此 黑客 可 以 
对 内 部 客户 伪造 电子 邮件 ， 声 称 是 来 自 某 个 客户 认识 并 相信 的 人 ， 并 附 上 可 安装 的 特 洛 
伊 木 马 程序 ， 或 者 是 一 个 指向 恶意 网 站 的 链接 。 

。 ”服务 拒绝 ， 当 一 个 实体 不 能 执行 它 的 正常 功能 ， 或 它 的 动作 妨碍 了 别 的 实体 执 

` 行 它 们 的 正常 功能 的 时 候 ， 便 发 生 服 务 拒绝 。 这 种 攻击 可 能 是 一 般 性 的 ， 比 如 
一 个 实体 抑制 所 有 的 消息 ， 也 可 能 是 有 具体 目标 的 。 例 如 ， 一 个 实体 抑制 所 有 
流向 某 一 特定 目的 端的 消息 ， 如 安全 审计 服务 。 这 种 攻击 可 以 是 对 通信 业务 流 
的 抑制 ， 或 产生 额外 的 通信 业务 流 。 也 可 能 制造 出 试图 破坏 网 络 操作 的 消息 ， 
特别 是 如 果 网 络 具 有 中 继 实体 ， 这 些 中 继 实 体 根据 从 别 的 中 继 实体 那里 接收 到 
的 状态 报告 ， 来 作出 路 由 选择 的 决定 。 拒 绝 服务 攻击 种 类 很 多 ， 举 例如 下 。 

Q 死亡 之 ping (Ping ofDeath): 由 于 在 早期 的 阶段 ， 路 由 器 对 包 的 最 大 尺寸 都 有 
限制 ， 许 多 操作 系统 对 TCP/P 栈 的 实现 在 ICMP 包 上 都 规定 为 64KB， 并 且 在 读 取 包 的 
标题 头 之 后 ， 要 根据 该 标题 头 里 包含 的 信息 来 为 有 效 载荷 生成 缓冲 区 。 当 产生 酷 形 的 、 
声称 自己 的 尺寸 超过 ICMP 上 限 ， 也 就 是 加 载 尺 寸 超过 64K 上 限 的 包 时 ， 就 会 出 现 内 存 
分 配 错 误 ， 导 致 TCP/IP 堆栈 崩溃 ， 致 使 接受 方 寡 机。 

@ 泪 滴 (Teardrop): 泪 滴 攻击 利用 那些 在 TCP/IP 堆栈 实现 中 信任 IP 碎片 中 的 包 的 
标题 头 所 包含 的 信息 来 实现 自己 的 攻击 。IP 分 段 含有 指示 该 分 段 所 包含 的 是 原 包 的 哪 一 
段 的 信息 ， 某 些 TCP/IP (包括 Service Pack 4 以 前 的 NT) 在 收 到 含有 重症 偏 移 的 伪造 分 
段 时 将 岂 沉 。 

@ UDP 洪水 (UDP Flood); 各 种 各 样 的 假冒 攻击 利用 简单 的 TCP/IP 服务 ， 如 Chargen 
和 Echo 来 传送 毫 无 用 处 的 数据 以 占 满 带宽 。 通 过 伪造 与 某 一 主机 的 Chargen 服务 之 间 的 
一 次 的 UDP 连接 ， 回 复 地 址 指向 开 着 Echo 服务 的 一 台 主 机 ， 这 样 就 生成 在 两 台 主 机 之 
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间 的 足够 多 的 无 用 数据 流 ， 如 果 数 据 流 足够 多 ， 就 会 导致 带宽 的 服务 攻击 。 

由 SYN 洪水 (SYN Flood): 一 些 TCP/IP 栈 的 实现 ， 只 能 等 待 从 有 限 数 量 的 计算 机 
发 来 的 ACK 消息 ， 因 为 它们 只 有 有 限 的 内 存 缓冲 区 用 于 创建 连接 ， 如 果 这 一 缓冲 区 充 
满 了 虚假 连接 的 初始 信息 ， 该 服务 器 就 会 对 接 下 来 的 连接 请 求 停 止 响 应 ， 直 到 缓冲 区 
里 的 连接 企图 超时 为 止 。 在 一 些 创建 连接 不 受 限 制 的 实现 里 ，SYN 洪水 也 具有 类 似 的 
影响 。 

”图 Land 攻击 : 在 Land 攻击 中 ， 一 个 特别 打造 的 SYN 包 的 原 地 址 和 目标 地 址 都 被 
设置 成 某 一 个 服务 器 地 址 ， 这 将 导致 接受 服务 器 向 它 自 己 的 地 址 发 送 SYN-ACK 消息 ， 
结果 ， 这 个 地 址 又 发 回 ACK 消息 并 创建 一 个 空 连接 ， 每 一 个 这 样 的 连接 都 将 保留 ， 直 
到 超时 。 各 种 系统 对 Land 攻击 的 反应 不 同 ， 许 多 UNIX 实现 将 崩溃 ，NT 变 得 极其 缓慢 
(大 约 持续 5 分 钟 )。 

@ smurf 攻击 : 一 个 简单 的 Smurf 攻击 , 通过 使 用 将 回复 地 址 设置 成 受害 网 络 的 广 
播 地 址 的 ICMP 应 答 请 求 (ping) 数据 包 ， 来 淹没 受害 主机 的 方式 进行 ， 韦 终 导致 该 网 
络 的 所 有 主机 都 对 此 ICMP 应 答 请 求 作出 答复 ， 导 致 网 络 阻塞 ， 比 “Ping of Death” 洪 水 
的 流量 高 出 一 或 两 个 数量 级 。 更 加 复杂 的 Smurf 将 源 地 址 改 为 第 三 方 的 受害 者 ， 最 终 导 
致 第 三 方 雪崩 。 

(@ Fraggle 攻击 : Fraggle 攻击 对 Smurf nl 了 简单 的 修改 ， 使 用 的 是 UDP 应 答 
消息 ， 而 非 ICMP。 

@ 电子 邮件 炸弹 : 电子 邮件 炸弹 是 最 古老 的 匿名 攻击 之 一， 通过 设置 一 台 机 器 , 不 
断 大 量 地 向 同一 地 址 发 送 电子 邮件 ， 攻 击 者 能 够 耗 尽 接收 者 网 络 的 带宽 。 

@@ 晴 形 消息 攻击 : 各 类 操作 系统 上 的 许多 服务 都 存在 此 类 问题 ,由 于 这 些 服务 在 处 
理 信息 之 前 没有 进行 适当 正确 的 错误 校 验 ， 在 收 到 畸形 的 信息 时 可 能 会 崩溃 。 

e。 内 部 攻击 ， 当 系统 的 合法 用 户 以 非 故 意 或 非 授权 方式 进行 动作 时 就 成 为 内 部 攻 

击 。 多数 已 知 的 计算 机 犯罪 都 和 使 系统 安全 遭受 损害 的 内 部 攻击 有 密切 的 关系 。 
能 用 来 防止 内 部 攻击 的 保护 方法 包括 : 所 有 管理 数据 流 进 行 加 密 ; 利用 包括 使 
用 强 口令 在 内 的 多 级 控制 机 制 和 集中 管理 机 制 来 加 强 系统 的 控制 能 力 ;为 分 布 
在 不 同 场所 的 业务 部 门 划分 VLAN， 将 数据 流 隔 离 在 特定 部 门 ， 利 用 防火 墙 为 
进出 网 络 的 用 户 提 供认 证 功能 ， 提 供 访问 控制 保护 ， 使 用 安全 日 志 记录 网 络 管 
理 数 据 流 等 。 

。 外 部 攻击 : 外 部 攻击 可 以 使 用 的 办 法 有 ， 搭 线 〈 主 动 的 与 被 动 的 )、 截 取 辐 射 、 
冒充 为 系统 的 授权 用 户 ， 冒 充 为 系统 的 组 成 部 分 、 为 鉴别 或 访问 控制 机 制 设置 
旁 路 等 。 

。 陷阱 门 : 当 系 统 的 实体 受到 改变 ， 致 使 一 个 攻击 者 能 对 命令 或 对 预定 的 事件 或 
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事件 序列 产生 非 授 权 的 影响 时 ， 其 结果 就 称 为 陷阱 门 。 例 如 ， 口令 的 有 效 性 可 
能 被 修改 ， 使 得 除了 其 正常 效力 之 外 也 使 攻击 者 的 口令 生效 。 

。 特洛伊 木马 ， 对 系统 而 言 的 特洛伊 木马， 是 指 它 不 但 具有 自己 的 授权 功能 ， 而 
且 还 有 非 授 权 功 能 。 一 个 向 非 授权 信道 拷贝 消息 的 中 继 就 是 一 个 特洛伊 木马 。 
典型 的 特洛伊 木马 有 NetBus、BackOrifice 和 BO2k 等 。 


11.4.4 ” 侦 听 技术 


侦 听 技术 实际 上 是 在 数据 通信 或 数据 交互 过 程 ， 对 数据 进行 截取 分 析 的 过 程 。 目 前 
报 为 流行 的 是 网 络 数据 包 的 捕获 技术 ,通常 我 们 称 为 Capture， 黑 客 可 以 利用 该 项 技术 实 
现 数据 的 盗用 ， 而 测试 人 员 同 样 可 利用 该 项 技术 实现 安全 测试 。 

该 项 技术 主要 用 于 对 网 络 加 密 的 验证 。 


11.5 软件 产品 安全 测试 


软件 产品 安全 测试 侧重 于 以 下 方面 ,用户 对 数据 或 业务 功能 的 访问 控制 ， 数 据 存 储 
和 数据 通信 的 远程 安全 控制 。 


11.5.1 用 户 管理 和 访问 控制 


1. 用 户 权限 控制 

对 于 应 用 软件 来 说 ， 用 户 权限 的 控制 是 比较 重要 的 ， 一 个 用 户 能 够 访问 一 个 应 用 系 
统 的 权限 ， 通 常 我 们 认为 来 源 于 三 个 方面 ， 即 : 应 用 软件 本 身 、 操 作 系统 和 数据 库 。 应 
用 软件 产品 在 开发 的 过 程 中 ， 主 要 采用 用 户 名 和 密码 登录 的 方式 完成 。 对 于 安全 强度 较 
高 的 软件 也 可 采用 指纹 认证 、 智 能 卡 认证 等 方式 进行 。 对 于 测试 者 来 说 ， 应 当 注 意 以 下 
几 个 方面 。 首 先 应 当 评 价 用 户 权 限 控 制 的 体系 合理 性 ， 是 否 采 用 三 层 染 构 的 管理 模式 ， 
即 系统 管理 员 、 业 务 领导 和 操作 人 员 三 级 分 离 ， 用 户 名 称 基本 采用 中 文 和 英文 两 种 ， 对 
于 测试 来 说 ， 对 于 用 户 名 称 的 测试 关键 在 于 测试 用 户 名 称 的 惟一 性 。 惟 一 性 的 体现 基本 
基于 以 下 两 个 方面 。 

@ 同时 存在 的 用 户 名 称 在 不 考虑 大 小 写 的 状态 下 ， 不 能 够 同名 ; 

@ 对 于 关键 领域 的 软件 产品 和 安全 性 要 求 较 高 的 软件 ,应 当 同 时 保证 使 用 过 的 用 户 
在 用 户 删 除 或 停 用 后 ， 保 留 该 用 户 记 录 ， 并 且 新 用 户 不 得 与 该 用 户 同名 。 

用 户口 令 应 当 满 足 当 前 流行 的 控制 模式 ， 注 意 测试 用 户口 令 的 强度 和 口令 存储 的 位 
置 和 加 密 强 度 ， 如 下 所 示 。 

Q 最 大 口令 时 效 : 指定 用 户 可 以 保留 当前 口令 的 时 间 。 
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@) 最 小 口令 时 效 : 指定 在 修改 口令 之 前 ， 用 户 必 须 保留 口令 的 时 间 。 

@ 口令 历史 : 确定 系统 将 要 记 住 的 口令 的 数量 。 如果 用 户 选择 的 口令 存在 于 口令 历 
史 数 据 库 中 ， 系 统 将 强制 用 户 选 择 其 他 口令 。 

@ 最 小 口令 长 度 : 对 于 用 户口 令 ， 可 以 包含 的 最 少 的 可 以 接受 的 字符 数目 。 

@@ 口令 复杂 度 : 在 口令 中 要 求 用户 使 用 非 字 母 数字 的 字符 或 大 写字 母 。 

加 密 选 项 ， 可 以 加 密 本 地 存储 的 口令 。 

@ 口令 锁定 ;口令 锁定 是 被 用 来 对 付 猜 测 口令 的 主要 工具 。 在 输入 的 非法 口令 达 
到 规定 的 次 数 之 后 ， 系 统 将 禁用 这 个 账户 。 这 种 技术 在 对 付 远程 暴力 攻击 的 时 候 特 别 
有 效 。 

账户 复位 : 账户 锁定 后 定义 是 否 可 以 在 规定 时 间 间 隔 后 自动 恢复 ,可 以 减轻 系统 
管理 员 的 工作 强度 。 

用 户 权限 分 配方 式 是 否 合 理 ， 用 户 认证 的 目的 在 于 访问 控制 ， 对 于 软件 产品 来 说 ， 
主要 是 用 户 能 够 使 用 某 些 功 能 或 访问 某 些 数据 的 能 力 。 从 软件 测试 的 角度 来 说 ， 应 当 结 
合 黑 盒 功能 测试 ， 首 先 测试 软 件 用 户 权 限 系 统 本 身 权 限 分 配 的 细致 程度 ， 比 如 ， 对 于 碍 
询 功能 来 说 ， 查 询 的 数据 是 否 能 够 按照 业务 需求 进行 细致 划分 ， 然 后 对 特定 权限 用 户 访 
问 系统 功能 的 能 力 进行 测试 ， 该 部 分 测试 应 当 充 分 利用 等 价值 划分 方法 进行 案例 设计 ， 
避免 重复 测试 。 

2. 操作 系统 安全 性 的 测试 

操作 系统 本 身 的 安全 性 对 应 用 软件 存在 影响 ， 测 试 中 要 考察 :是否 关 闭 或 卸载 了 不 
必要 的 服务 和 程序 ， 是 和 否 存在 不 必要 的 账户 ， 权 限 设置 是 否 合理 ;安装 相应 的 安全 补丁 
程序 的 情况 ， 操 作 系 统 日 志 管理 等 。 

3. 数据 库 权 限 的 测试 

数据 库 权 限 管理 目前 存在 较 多 问题 ， 该 部 分 的 测试 有 如 下 三 个 方面 。 

Q 应 用 软件 部 署 后 , 数据 库 管 理 用 户 的 设置 应 当 注意 对 账号 的 保护 , 超级 用 户 的 口 
令 不 得 为 空 或 默认 口令 。 对 数据 库 的 账号 和 组 的 权限 作 相 应 设置 ， 如 锁定 一 些 默认 的 数 
据 库 用 户 ， 撤 销 不 必要 的 权限 。 

@ 数据 库 中 关于 应 用 软件 用 户 权 限 和 口令 存储 的 相关 表格 ,尽量 采用 加 密 算法 进行 
加 密 。 

@ 软件 企业 在 进行 软件 产品 开发 时 , 开发 人 员 通 常 为 了 开发 方 使 , 在 客户 端 与 数据 
库 通 信 时 ， 均 使 用 超级 用 户 及 默认 密码 (例如 ; usemame=“sa”，password=“”) 访问 
数据 库 ， 这 种 方式 将 会 带 来 严重 的 安全 隐患 ， 测 试 人 员 可 以 通过 网 络 侦 昕 的 技术 ， 或 使 
用 白 盒 测试 方法 进行 测试 ， 并 且 应 当 建 议 开 发 者 ， 根 据 不 同 程 序 访问 数据 库 的 功能 ， 使 
用 不 同 的 数据 库 用 户 进行 连接 ， 且 必须 设置 复杂 的 密码 。 
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11.5.2 ”通信 加 密 


通信 加 密 是 保证 数据 在 传输 过 程 中 数据 的 保密 性 和 一 致 性 的 测试 ， 软 件 产品 在 技术 
上 通常 使 用 链 路 加 密 、 数 据 加 密 的 方式 进行 ， 目 前 使 用 的 加 密 技术 包括 VPN 技术 、 对 
称 加 密 算法 、 非 对 称 加 密 算法 、HASH 算法 等 。 

VPN 技术 通常 使 用 Kebores 加 密 算法 结合 IPSec 加 密 协 议 ， 实 现 通信 链 路 的 加 密 ， 
加 密 强度 较 高 ， 多 用 于 广域网 中 的 数据 安全 传输 ， 但 是 操作 较 复 杂 。 

对 称 加 密 算法 和 非 对 称 加 密 算法 主要 包括 RSA、DSA ( 非 对 称 )、DES (对 称 )， 使 
用 上 述 算法 的 主要 目的 在 于 解决 数据 的 保密 性 传输 。 

HASH 算法 的 目的 在 于 保护 数据 内 容 的 一 臻 性， 防止 数据 在 传输 过 程 中 被 委 改 。 

遂 信 加 密 测 试 的 目的 主要 是 ， 保 证 软件 产品 确实 在 开发 过 程 中 ， 按 照 充 计 要 求 使 用 
了 上 述 方 法 进行 了 通信 的 加 密 ， 通 党 使 用 验证 和 侦 听 技术 完成 。 另 外 还 需要 注意 的 是 ， 
如 果 开 发 过 程 中 使 用 上 述 标准 对 加 密 函 数 进行 加 密 ， 加 密 强 度 是 受 密 钥 的 复杂 度 等 因素 
影响 的 ， 无 须 对 本 身 算法 加 密 强 度 进行 论证 ， 如 果 使 用 上 自 定义 的 加 密 函 数 ， 测 试 人 员 应 
当 使 用 破解 技术 对 算法 本 身 的 加 密 强度 进行 论证 ， 或 将 自 定义 加 密 算法 提交 特定 机 构 进 
行 测试 和 认证 。 
11.5.3 ”安全 日 志 而 试 


我 们 上 面 已 经 提 到 ， 安 全 日 志 是 软件 产品 被 动 防范 的 措施 ， 是 重要 的 安全 功能 ， 因 
此 需要 在 软件 测试 过 程 中 重点 测试 。 

日 志 应 当 记 录 所 有 用 户 访问 系统 的 操作 内 容 ， 包 括 登 录用 户 名 称 、 登 孙 时 间 、 浏 览 
数据 动作 、 修 改 数据 动作 、 删 除数 据 动 作 、 退 出 时 间 、 登 录 机 器 的 下 等 。 

测试 人 员 应 该 根据 业主 要 求 或 设计 和 赶 求 ， 对 日 志 的 完整 性 、 正 确 性 进行 测试 ， 测 斌 
安全 日 志 是 否 包含 上 述 全 部 内 容 ， 是 否 正 确 ， 并 且 对 于 大 型 应 用 软件 来 说 ， 系 统 是 否 提 
供 了 安全 日 志 的 智能 统计 分 析 能 力 ， 是 否 可 以 按照 各 种 特征 项 进行 日 志 统计 ， 分 析 潜 在 
的 安全 隐患 ， 并 且 及 时 发 现 非法 行为 。 
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12.1 ”兼容 性 测试 概述 


兼容 性 测试 将 验证 软件 与 其 所 依赖 的 环境 的 依赖 程度 ， 包 括 对 而 件 的 依赖 程度 ， 对 
平台 软件 、 其 他 软件 的 依赖 程度 等 ， 本 章 对 兼容 性 测试 的 范围 和 方法 进行 了 描述 ， 在 此 
基础 上 ， 对 数据 的 兼容 性 、 特 别 是 新 旧 系统 割 接 时 数据 的 迁移 测试 进行 了 深入 的 描述 。 


12.2 兼容 性 测试 环境 的 准备 


兼容 性 测试 需要 在 各 种 各 样 的 软 硬 件 环 境 下 进行 ， 因 此 兼容 性 测试 是 软件 测试 中 投 
入 较 大 的 一 部 分 。 测 试 中 的 硬件 环境 指 进 行 测试 所 必需 的 服务 器 、 客 户 端 、 网 络 连 接 设 
备 ， 以 及 打印 机 、 扫 描 仪 等 辅助 硬件 设备 所 构成 的 环境 ， 软 件 环境 则 指 被 测 软件 运行 所 
需 的 操作 系统 、 数 据 库 、 中 间 件 、 浏 览 器 及 与 被 测 软件 共存 的 其 他 应 用 软件 等 构成 的 
环境 。 
如 果 在 计划 兼容 性 测试 时 过 到 测试 环境 准备 上 的 问题 ， 可 以 尝试 通过 以 下 几 种 渠道 
解决 。 
。 向 硬件 厂商 租用 或 借用 。 硬 件 厂商 如 果 有 展示 厅 或 测试 中 心 ， 一 般 会 欢迎 其 他 
厂商 使 用 他 们 的 设备 ， 因 为 这 样 同样 测试 了 其 硬件 对 软件 的 兼容 性 。 
。 采用 试用 版 软件 。 软 件 可 采用 试用 版 ， 但 需 注 意 其 限制 条 件 ， 如 连接 数 、 有 效 
时 间 等 ， 有 时 这 些 限制 条 件 会 导致 软件 测试 不 充分 。 
。 在 条 件 完善 的 专业 测试 实验 室 里 完成 测试 。 目 前 已 经 出 现 越 来 越 多 的 专业 评测 
机 构 ， 如 中 国 软件 评测 中 心 等 。 这 些 机 构 往往 拥有 大 量 的 软 硬 件 设备 和 测试 工 
具 ， 可 以 协助 软件 开发 商 完成 各 类 测试 。 z 


12.3 ”硬件 兼容 性 的 测试 


12.3.1 硬件 兼容 性 测试 的 目的 
所 有 软件 都 需 向 用 户 说 明 其 运行 的 硬件 环境 ， 对 于 多 层 结构 的 软件 系统 来 说 ， 需 要 
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分 别 说 明 其 服务 器 疹 、 客 户 端 以 及 网 络 所 需 的 环境 。 兼 容 性 测试 的 目的 就 是 确认 这 些 对 
于 硬件 环境 的 描述 是 否 正确 、 合 理 。 
硬件 茹 容 性 测试 需 确 认 以 下 几 点 。 


最 低 配 置 是 否 能 够 满足 系统 运行 的 需要 。 在 最 低 配 置 下 ， 所 有 的 软件 功能 必须 
能 够 完整 地 实现 ， 软 件 运行 速度 、 响 应 时 间 应 在 用 户 能 够 忍受 的 范围 内 。 

在 推荐 配置 下 系统 的 响应 迅速 。 应 当 注 意 的 是 ， 推 荐 配置 必须 合理 ， 一 味 地 追 
求 高 配置 ， 一 方面 可 能 掩盖 软件 的 性 能 缺陷 ， 另 一 方面 限制 了 软件 的 应 用 范围 ， 
也 是 不 合理 的 。 

考察 软件 对 运行 硬件 环境 有 无 特殊 说 明 ， 如 对 CPU、 网卡、 声卡、 显卡 型 号 等 
有 无 特别 声明 。 有 些 软件 可 能 在 不 同 的 硬件 环境 中 出 现 不 同 的 运行 结果 或 是 在 
某 些 环境 下 根本 就 不 能 执行 ,如 操作 系统 或 数据 库 软件 能 否 支持 多 个 CPU 协同 
工作 ， 对 内 存 的 多 少 是 否 过 于 敏感 等 。 

为 了 满足 不 同 的 使 用 需求 ， 软 件 系统 能 否 运行 在 多 种 硬件 配置 环境 下 ， 并 且 系 
统 功能 和 和 性 能 都 能 满足 设计 需求 。 这 样 的 测试 为 企业 的 硬件 选 型 与 部 署 提供 了 
依据 。 例 如 ， 是 否 可 将 Web 服务 器 与 数据 库 服 务 器 部 署 在 一 台 物 理 服 务 器 上 ， 
或 者 需要 将 二 者 分 别 部 署 在 不 同 的 物理 服务 器 上 ， 再 如 ， 软 件 系统 的 客户 端 与 
服务 器 是 否 可 采用 企业 专用 网 络 通信 ， 或 者 提供 Modem 拨号 上 网 通信 。 


12.3.2 “与 将 机 的 兼容 性 


整 机 莱 容 性 测试 将 确认 软件 要 求 的 最 低 配 置 和 推荐 配置 的 合理 性 和 正确 性 。 主 要 指 
标 包 括 对 机 型 的 要 求 和 对 CPU. 内 存 \ 硬盘 的 要 求 , 其 他 还 包括 对 RAID 的 支持 、 对 SCSI 
的 支持 等 。 


CPU。 各 类 软件 的 最 低 配 置 和 推荐 配置 都 必须 注 明 对 CPU 的 要 求 ， 包 括 CPU 
类 型 和 主 频 的 要 求 。 大 多 数 软件 仍 以 对 Intel X86 体系 的 支持 为 主 ，Intel 主流 
CPU 的 性 能 差别 主要 体现 在 频率 、 组 存 两 方面 。 其 中 频率 因素 又 分 为 主 频 与 外 
频 两 部 分 ， 缓 存 因素 分 为 缓存 容量 、 组 存 速 度 、 缓 存 潜 伏 时 间 三 部 分 ， 例 如 ， 
由 于 二 级 缓存 的 不 同 , 选用 Celeron 处 理 器 还 是 PIII 处 理 器 会 对 速度 测试 结果 造 
成 一 定 的 影响 , 因此 配置 测试 环境 时 种 特别 注意 。 应 用 软件 及 客户 端 软件 对 CPU 
的 推荐 配置 要 求 应 当 比 目前 主流 CPU 略 低 ， 服 务 器 妆 的 最 低 配 置 必 须 能 够 使 软 
件 正常 工作 , 推荐 配置 应 保证 软 硬 件 构成 的 系统 在 正常 业务 的 压力 负载 下 , CPU 
资源 占用 平均 值 不 超过 75%。 

内 存 。 所 有 软件 都 希望 运行 环境 中 的 内 存 越 大 越 好 ， 内 存 容量 直接 影响 着 软件 
的 运行 效率 。 对 于 一 般 软 件 的 测试 ， 只 需 设 计 不 同 内 存 容量 下 的 测试 ， 但 在 有 
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些 情况 下 , 也 需 考虑 内 存 参数 的 设置 对 性 能 的 影响 , 这 主要 集中 在 CAS(Column 
Address Strobe， 列 地 址 选 通 脉冲 )、RAS (Row Address Strobe， 行 地 址 选 通 脉 
冲 )、RAS-CAS 等 参数 的 设置 上 。 

硬盘 。 一 般 只 \ 有 对 特殊 软件 的 硬件 兼容 性 测试 需 考虑 硬盘 的 转速 缓存 容量 、 
寻 址 时 间 等 参数 。 人 则 筑 要 记录 
这 些 硬盘 参数 。 


与 板 卡 及 配件 的 兼容 性 


在 各 类 软件 中 ， 与 板 卡 及 配件 打交道 的 是 操作 系统 和 驱动 程序 。 其 中 ， 桌 面 操 作 系 
统 的 硬件 兼容 性 无 络 是 最 复 罗 的 ， 它 涉及 几乎 所 有 类 型 的 板 卡 和 配件 。 随 着 目 由 软件 的 
和 莲 勃 发 展 ， 泉 面 操作 系统 成 为 了 新 的 软件 开发 热点 。 

其 他 软件 也 会 对 某 些 配件 比较 敏感 ， 如 游戏 软件 对 显卡 ， 播放 器 对 显卡 和 产 卡 ， 传 
真 软件 对 调制 解 调 器 等 。 

一 般 情况 下 ， 板 卡 和 配件 与 软件 的 兼容 性 第 要 考虑 以 下 几 个 方面 。 


12.3.4 


独立 板 卡 。 各 类 板 卡 技术 的 迅速 发 展 使 操作 系统 的 支持 变 得 越 来 越 困 难 。 由 于 
微软 的 Windows 操作 系统 在 泉 面 领域 占有 率 高 ， 因 此 板 卡 生产 商 一 般 会 提供 
Windows 上 的 驱动 程序 ， 而 对 其 他 操作 系统 则 较 少 顾及 ， 因 此 其 他 操作 系统 往 
往 需 做 大 量 工 作 才 能 达到 与 这 些 设 备 兼容 。 而 操作 系统 与 各 类 板 卡 的 兼容 不 仅 
仅 体 现在 “能 用 ”上 ， 还 必须 达到 “好 用 ”。 

主板 芯片 组 。BX、810 系列 、815 系列 、GX 芯片 组 设计 上 的 差异 要 求 测试 中 必 
须 分 别 进 行 测 试 。 同 时 ， 由 于 针对 不 同 芯片 组 开发 的 驱动 程序 效率 不 同 ， 也 可 
能 造成 与 预期 效果 不 同 的 测试 结果 。 对 于 集成 主板 ， 由 于 各 部 分 的 相互 影响 ， 

往往 会 对 被 测 泉 面 操作 系统 的 兼容 性 造成 挑战 。 即 使 主板 上 集成 的 声卡 、 显 卡 
等 的 芯片 组 都 能 够 分 别 被 支持 ， 整 个 主板 也 需 经 过 测试 才能 列 入 兼容 性 列表 。 

驱动 程序 中 的 自由 软件 。 即 使 从 互联 网 上 可 以 找到 很 多 硬件 驱动 的 自由 软件 ， 

但 这 些 软件 大 多 是 由 爱好 者 开发 的 ， 由 于 爱好 者 往往 不 能 够 完整 地 了 解 硬件 产 
品 的 核心 技术 ， 而 且 没 有 严密 组 织 的 开发 过 程 ， 造 成 驱动 程序 中 存在 众多 缺陷 。 
如 果 被 测 软 件 中 存在 这 样 的 情况 就 要 特别 注意 。 


与 打印 机 的 兼容 性 


打印 机 兼容 性 的 测试 对 于 操作 系统 、 办 公 软 件 、 网 站 和 其 他 打 印 功能 比较 重要 的 软 
件 来 说 ， 都 是 不 可 缺少 的 。 
对 于 不 同 三 商 、 不 同型 号 的 打 印 机 需要 分 别 进 行 测试， 
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打印 机 兼容 性 测试 主要 包括 以 下 项 目 。 

安装 或 能 够 调用 系统 安装 的 打印 机 ; 

能 打印 测试 页 ; 

能 选择 不 同 幅面 的 纸张 ; 

能 选择 打印 精度 (打印 分 辨 率 ); 

纸张 横 、 纵 打印 调整 功能 ; 

逐 页 打印 功能 ; 

多 份 打 印 功 能 ; 
可 以 进行 打印 机 的 维护 《〈 比 如 更 换 黑 水、 清洗 打印 头等 )， 
具备 双 面 打印 器 的 打印 机 能 够 实现 自动 双 面 打印 功能 ; 
网 络 打 印 机 能 够 实现 网 络 打 印 功 能 。 


12.3.5 其 他 


软件 运行 所 依赖 的 其 他 所 有 硬件 设备 ， 都 应 进行 兼容 性 测试 ， 如 操作 系统 与 红外 局 
标 、 键盘 的 兼容 性 ,识别 软件 对 扫描 仪 的 兼容 性 ， 视 频 编辑 软件 与 Jog 搜索 轮 的 兼容 性 ， 
刻录 软件 对 光驱 的 兼容 性 等 ， 需 根据 实际 情况 确定 测试 范围 和 测试 方法 。 


12.4 ”软件 莱 容 性 测试 


12.4.1 与 操作 系统 的 兼容 性 


由 于 软件 开发 技术 的 限制 以 及 各 种 操作 系统 之 间 存 在 着 巨大 的 差异 性 ， 因 此 ， 目 前 
大 多 商业 软件 并 不 能 达到 理想 的 平台 无 关 性 。 如 果 该 软件 承诺 可 以 在 多 种 操作 系统 上 运 
行 ， 那 么 我 们 就 宽 要 测试 它 与 操作 系统 的 菩 容 性 。 对 于 多 层 体系 结构 的 软件 ， 要 分 别 考 
虑 前 问 和 后 疗 操 作 系 统 的 可 选择 性 。 
操作 系统 兼容 性 的 测试 内 容 不 仅 包括 安装 ， 还 需 对 关键 流程 进行 检查 。 和 需要 测试 哪 
些 操作 系统 上 的 非 容 性 ， 首 先 取决 于 软件 用 户 文档 上 对 用 户 的 承诺 ， 其 次 就 要 考虑 以 下 
几 个 问题 。 
。 Windows 平台 ; 随 着 微软 对 Windows 平台 的 不 断 升 级 ， 对 于 上 一 代 操 作 系 统 ， 
如 Windows 32、Windows 95、Windows NT4， 除 非 有 特殊 需求 ， 一 般 都 不 再 作 
出 支持 承诺 , 一 些 软件 甚至 不 对 Windows 98 进行 承诺 。 对 于 B/S 结构 的 客户 端 ， 
至 少 需 在 Windows 98、Windows ME、Windows 2000、Windows XP 上 进行 测试 ， 
英文 版 和 中 文 版 需 分 别 测试 ， 在 英文 版 操作 系统 上 测试 中 文 版 软件 时 ， 要 特别 
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注意 是 否 会 出 现 英文 信息 或 乱 字 符 ， 在 中 文 版 操作 系统 上 测试 英文 软件 时 ， 注 
意 是 否 存 在 提示 文字 不 能 完全 显示 的 现象 。 测 试 前 要 保证 测试 环境 中 所 有 的 补 
丁 都 已 安装 ， 在 用 户 文档 中 也 应 给 出 提示 。 MR 则 
可 以 增加 对 不 同 版 本 补丁 的 兼容 性 测试 。 

e。 Linux 平台 : Linux 作为 自由 软件 ， 其 核心 版 本 是 惟一 的 ， 而 发 行 版 本 则 不 受 限 
制 。 从 RedHat、 Turbo Linux 到 国内 的 中 科 红 旗 、 中 软 等 ， 版 本 之 间 存 在 着 较 大 
的 差异 。 因 此 被 测 软件 不 能 简单 地 说 是 支持 Linux， 测 试 也 不 能 只 在 RedHat 最 
新 发 行 版 本 上 进行 ， 需 要 对 多 发 行商 、 多 版 本 进行 测试 ， 用 户 文 档 中 的 内 容 应 
明确 至 发 行商 和 版 本 号 ， 不 能 笼统 地 描述 为 支持 Linux 平台 。 

。 UNIX 平台 : 与 Linux 平台 一 样 ，UNIX 平台 也 存在 着 Solaris、IBM、HP 等 多 
厂商 的 多 版 本 ， 不 过 由 于 在 这 些 UNIX 平台 上 运行 的 软件 往往 至 少 需 要 重新 编 
译 才 能 运行 ， 所 以 只 种 技 软件 的 承诺 选择 测试 环境 即 可 。 

。 Macintosh: 使 用 这 类 系统 的 往往 是 图 形 专用 软件 。 对 于 Web 站 点 也 需要 进行 
Macintosh 系统 下 的 测试 ， 有 二 字体 信 必 个 系统 下 可 斧 个 征 寿 ， 因此 需要 确认 选 
择 了 备用 字体 。 


12.4.2 与 数据 库 的 兼容 性 


20 世纪 90 年 代 以 后 ， 数 据 库 的 应 用 向 多 元 化 方向 发 展 ， 大 型 的 应 用 往往 涉及 不 同 的 
应 用 领域 ， 需 要 不 同 模型 的 数据 库 ， 同 时 ， 各 个 数据 库 管 理 系 统 之 间 的 互 操作 性 、 移 植 性 
都 越 来 越 受 到 大 家 的 重视 ， 再 加 上 开发 工具 的 发 展 ， 促 进 了 数据 库 标准 的 成 熟 与 发 展 。 数 
据 库 标准 主要 包括 : SQL、ODBC、JDBC、ADO、OLE DB、JDO (Java Data Object) 等 。 

SQL (Structured Query Language) 是 对 数据 库 进 行 操作 的 基本 语言 ，SQL 于 1974 
年 提出 ，1986 年 10 月 成 为 数据 语言 的 美国 标准 ，1987 年 成 为 ISO 标准 ， 以 后 进行 多 次 
版 本 升级 , 到 目前 为 止 , 已 经 制定 出 的 SQL 标准 有 SQL-86、SQL-89、SQL-92 和 SQL-99， 
目前 市 场 普遍 接受 的 是 SQL-92 标准 .SQL-92 分 为 4 个 一 致 性 等 级 (其 中 3 个 级 是 ANSI 
标准 中 定义 的 ， 还 有 1 个 级 是 由 NIST 在 作 符合 性 测试 时 定义 的 )， 分别 是 入 门 级 、 过 渡 
级 、 中 间 级 和 完全 级 。 上 自前 数据 库 产品 对 SQL 标准 的 支持 程度 并 不 相同 。 

ODBC (Open Data Base Connectivity， 开 放 数 据 库 互 连 ) 是 微软 公司 开发 的 一 套 开 
放 数 据 库 系统 应 用 程序 接口 规范 ， 它 是 微软 公司 WOSA (Windows Open System 
Architecture， 即 Windows 开放 系统 体系 结构 ) 的 主要 组 成 部 分 。ODBC 接口 的 最 大 优点 
是 其 互 操作 能 力 强 ， 理 想 情况 下 ， 每 一 个 驱动 程序 和 数据 源 应 支持 完全 相同 的 ODBC 函 
数 调用 和 SQL 语句 ， 使 得 ODBC 应 用 程序 可 以 操作 所 有 的 数据 库 系统 。 然 而 ， 不 同 的 
数据 库 系统 对 SQL 语法 的 支持 程度 各 不 相同 ， 实 现 的 ODBC 规范 所 定义 的 功能 也 会 有 
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所 不 “ 同 。 
JDBC (Java Data Base Emal Java 数据 库 连 接 ), 目前 , JDBC 已 经 推出 了 1.0、 
2.0、3.0 三 个 版 本 ， 同 样 ， 各 个 数据 库 对 JDBC 的 支持 也 并 不 相同 。 
总 之 ， 数 据 库 虽然 有 各 种 标准 ， 但 是 由 于 各 个 数据 库 对 标准 的 支持 程度 并 不 相同 ， 
基于 一 种 数据 库 开 发 的 应 用 系统 ， 在 另外 一 种 数据 库 上 未 必 运 行 良 好 ， 而 现在 很 多 软件 
需 考虑 对 不 同 数据 库 平台 或 同一 数据 库 的 不 同 版 本 的 支持 能 力 , 如 从 Sybase 平台 迁移 到 
Oracle 平台 ， 从 Oracle 8i 升级 到 Oracle 9i 等 ， 这 就 要 求 我 们 必须 做 数据 库 兼 容 性 测试 
工作 。 
此 关 测 试 可 能 是 主动 的 ， 在 软件 开发 阶段 就 已 进行 ， 也 可 能 是 被 动 的 ， 由 于 新 版 本 
的 出 现 或 用 户 的 需求 改变 而 被 迫 进行 。 
数据 库 兼 容 性 测试 要 点 如 下 。 
e 完整 性 测试 。 检 查 原 数据 库 中 各 种 对 象 是 否 全 部 移入 新 数据 库 ， 同 时 比较 数据 
表 中 数据 内 容 数 是 否 相 同 。 

。 应 用 系统 测试 。 模 拟 普 通用 户 操作 应 用 的 过 程 ， 对 应 用 进行 操作 并 检查 运行 结 
果 ， 从 以 往 的 测试 经 验 来 看 ， 如 果 开 发 中 使 用 了 存储 过 程 ， 那 么 在 数据 库 移 植 
时 最 容易 出 现 问 题 。 

。 性 能 测试 。 上 两 项 测试 通过 后 ， 针 对 服务 器 、 数 据 库 进行 性 能 测试 ， 并 与 在 原 
数据 库 下 记录 的 性 能 基准 数据 进行 比照 ， 找 出 性 能 方面 的 问题 ， 并 有 针对 性 地 
进行 性 能 优化 。 


12.4.3 与 中 间 件 的 兼容 性 


涉及 中 间 件 的 系统 一 般 已 不 是 一 个 单纯 的 软件 ， 而 是 一 个 有 一 定 规模 的 系统 了 。 中 
间 件 作为 其 中 最 关键 的 部 件 之 一 ， 许 多 开发 都 与 其 紧密 相连 ， 所 以 ， 中 间 件 的 更 换 并 不 
常见 ， 中 间 件 兼容 性 的 测试 通常 情况 下 是 指 对 不 同 版 本 、 不 同 补丁 包 的 兼容 性 。 如 : 系 
统 中 的 中 间 件 WebSphere 从 Sp2 升级 到 Sp3 时 ， 需 检查 应 用 是 否 能 够 正确 运行 ， 性 能 是 
否 有 所 提高 或 至 少 保持 不 变 。 

中 间 件 兼容 性 的 测试 方法 与 数据 库 攻 性 的 测 斌 方法 大 同 小 异 这 里 不 再 约 述 。 


12.4.4 与 浏览 器 的 兼容 性 


浏览 器 是 Web 客户 端 最 核心 的 构件 ， 被 测 软件 的 客户 端 能 否 使 用 Netscape、 Intemet 
Explorer 或 Lynx 进行 浏览 呢 ? 有 些 HTML 标签 或 脚本 只 能 在 某 些 特定 的 浏览 器 上 显示 。 
应 当 确 认 图 片 有 替代 文字 ， 因 为 可 能 会 有 用 户 使 用 文本 浏览 器 。 如 果 使 用 了 SSL 安全 特 
性 ， 则 需要 关注 浏览 器 的 版 本 ， 因 为 老 版 本 可 能 不 支持 SSL， 应 对 老 版 本 的 用 户 给 出 相 
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关 的 提示 信息 。 

来 自 不 同 厂商 的 浏览 器 对 Java、JavaScript、ActiveX、plug-ins 或 不 同 版 本 的 HTML 
有 不 同 的 支持 。 例 如 ，ActiveX 是 Microsof 的 产品 ， 是 为 .Internet Explorer 而 设计 的 ， 
JavaScript 是 Netscape 的 产品 ，Java 是 Sun 的 产品 等 。 另 外 ;. 框架 和 层次 结构 风格 在 不 
同 的 浏览 器 中 也 有 不 同 的 显示 ， 共 至 根本 无 法 显示 。 不 同 的 浏览 器 对 安全 性 和 Jave 的 设 
置 也 不 一 样 。 

测试 浏览 器 兼容 性 的 一 个 方法 是 创建 一 个 逆 容 性 矩阵 。 在 这 个 矩阵 中 ， 测试 不 同 厂 
商 、 不 同 版 本 的 浏览 器 对 某 些 构件 和 设置 的 适应 性 。 

表 12-1 是 一 个 对 浏览 器 兼容 性 进行 测试 的 记录 表 样 本 。 


Internet Explorer 5.X 


表 12-1 浏览 器 兼容 性 测试 记录 表 


Applets VBSeript 


IntemetExplorer6X | | | 
NetscapeNavigatorsX | | | | 
NetscapeNavigator6X | | | 


12.4.5 与 其 他 软件 的 兼容 性 
除了 以 上 各 项 软件 的 兼容 性 以 外 ， 我 们 还 需要 考虑 以 下 问题 。 


与 支持 软件 的 兼容 性 。 软 件 运行 还 需要 哪些 应 用 软件 支持 ?ERP 软件 可 以 仅 提 
供 财务 软件 接口 ， 而 本 身 并 不 包含 财务 软件 ， 财 务 软件 也 可 以 不 包含 表格 处 理 
模块 ， 而 调用 其 他 表 处 理 软件 。 这 些 被 测 软件 运行 所 必须 的 其 他 软件 都 应 当 进 
行 兼容 性 测试 ， 测 试 中 要 对 其 所 依赖 的 软件 的 各 个 版 本 分 别 进行 测试 。 

与 其 他 同类 软件 的 兼容 性 。 对 于 通用 软件 来 说 ， 这 是 一 个 重要 问题 。 由 于 通用 
软件 应 用 范围 广 ， 开 发 商 多 ， 功 能 重复 性 高 ， 在 系统 中 可 能 会 要 求 相同 的 系统 
资源 ， 造 成 注册 表 冲 突 等 问题 ， 因 此 需要 进行 兼容 性 测试 ， 以 判断 与 其 他 同类 
软件 安装 在 同一 系统 上 、 同 时 使 用 ， 是 否 会 造成 其 他 软件 运行 错误 ， 或 本 身 能 
否 正确 实现 其 功能 ， 例 如 ， 测 试 杀毒 软件 时 ， 检 查 将 其 与 其 他 多 个 杀毒 软件 共 
同安 装 于 同一 系统 中 的 情况 。 z 

与 其 他 非 同类 软件 的 兼容 性 。 例 如 : 测试 办 公 软 件 时 ， 将 其 与 杀毒 软件 共同 
安装 于 同一 系统 时 ， 是 否 会 造成 软件 安装 错误 或 运行 错误 。 如 果 在 杀毒 软件 


运行 的 状态 下 不 能 顺利 安装 ， 则 需 在 用 户 手册 中 的 软件 安装 部 分 给 出 明确 


提示 。 
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12.5” 数 据 兼 容 性 测试 
12.5.1 不 同 数据 格式 的 兼容 性 


数据 兼容 是 指 软件 之 间 能 否 正确 地 交互 和 共享 信息 。 制 定数 据 兼 容 性 测试 用 例 时 可 
以 参考 以 下 几 项 内 容 。 

。 在 被 测 软件 与 其 他 程序 间 复 制 粘贴 的 文字 是 否 正 确 ? 带 格式 的 文字 呢 ? 表格 
呢 ? 图 形 呢 ? 

。 在 以 前 的 版 本 下 保存 的 文字 在 新 的 版 本 中 是 否 能 被 打开 ， 所 有 的 特点 是 否 都 能 
被 保留 包含 新 特性 的 新 版 本 文件 在 旧 系 统 中 是 否 能 被 打开 ; 新 特性 在 旧版 本 
中 将 如 何 解释 。 

e。 被 测 软件 是 一 个 系列 软件 中 的 一 个 吗 ， 与 本 系列 中 的 软件 以 何 种 形式 交换 
数据 。 

。 与 同类 软件 间 能 否 进行 数据 交换 ， 软 件 是 否 提 供 对 其 他 常用 数据 格式 的 支持 。 
例如 ， 办公 软 件 是 否 支持 常用 的 微软 Office 或 WPS 等 文件 格式 , 支持 的 程度 如 
何 ， 即 软件 是 否 能 完全 正确 地 读 出 这 些 格式 的 文件 ?保存 为 这 些 格式 的 文 
件 呢 ? 

。 测试 中 需要 明确 业界 有 没有 针对 被 测 软件 内 容 进 行 数据 交换 定义 的 标准 或 规 
范 。 例 如 ， 有 些 行 业 要 求 本 行业 的 专业 软件 必须 能 够 导入 /导出 XML 格式 的 文 
件 ， 且 必须 符合 一 定 的 数据 格式 规范 。 


12.5.2 XML 符合 性 


”目前 的 数据 格式 多 种 多 样 ， 使 不 同类 型 的 数据 交换 和 和 集成 成 为 很 困难 的 事情 ， 如 : 
搜索 多 样 的 不 兼容 的 数据 库 实 际 上 是 不 可 能 的 ， 不 同 的 办 公 软 件 使 用 不 同 的 格式 ， 因 此 
不 能 相互 打开 彼此 的 文档 等 。 

XML 作为 一 种 较 新 的 技术 ， 能 够 使 不 同 来 源 的 结构 化 的 数据 较 容易 地 结合 在 一 起 ， 
提供 了 一 个 描述 数据 和 交换 数据 的 有 效 手段 。 

XML (Extensible Markup Language, 可 扩展 标记 语言 ) 是 一 种 元 标记 语言 ， 它 使 用 简 
单 灵活 的 标准 格式 。XML 主要 有 3 个 组 成 元 素 : Schema 模式)、XSL〔( 可 扩展 样式 语 
言 ) 和 XLL (可 扩展 链接 语言 )， 其 中 Schema 规定 了 XML 文件 的 逻辑 结构 ， 定 义 了 
XML 文件 中 的 元 素 、 元 素 的 属性 以 及 元 素 和 元 素 属性 之 间 的 联系 ， 它 可 以 入 助 XML 的 
分 析 程 序 校 验 XML 文件 标记 的 合法 性 : XSL 是 用 于 规定 XML 文档 样式 的 语言 ， 它 能 
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在 客户 端 使 Web 浏览 器 改变 文档 的 表示 法 ， 从 而 不 需要 再 与 服务 器 进行 交互 通信 ; XLL 
将 进一步 扩展 目前 Web 上 已 有 的 简单 链接 。 

目前 ， 我 国 中 文 办 公 软 件 标准 基本 形成 了 《中 文 办 公 软 件 文档 格式 规范 XML 
Schema 内 容 说 明 规范 》 征 求 意 见 稿 , 一 些 行业 软件 已 将 XML 作为 其 行业 规范 进行 推荐 ， 
并 得 到 了 开发 商 的 广泛 认可 。 

XML 测试 的 需求 往往 来 自 于 业界 已 有 的 数据 格式 规范 ， 一 般 是 一 套 Schema 文件 。 
其 测试 步骤 一 般 为 : 

e。 在 测试 工具 中 建立 标准 模板 ; 

。 用 被 测 软件 按 要 求 导 出 数据 ; 

。 将 导出 的 数据 与 标准 模板 进行 对 比 匹 配 测试 ; 

。 和 输出 测试 结果 。 

测试 中 用 到 的 数据 比较 工具 可 以 采用 已 有 的 XML 解析 器 如 XMLSPY， 或 有 针对 性 
地 开发 出 一 些 专用 工具 。 


12.6 ”平台 化 软件 兼容 性 测试 


12.6.1 平台 化 软件 概述 


随 着 软件 系统 的 规模 变 得 越 来 越 大 ， 平 台 化 软件 的 使 用 越 来 越 普 遍 。 平 台 化 软件 是 
指 用 来 构建 与 支撑 应 用 软件 的 独立 软件 系统 。 软 件 平台 有 两 个 基本 要 素 ， 即 支撑 环境 和 
开发 体系 ， 其 中 支撑 环境 是 指 应 用 软件 系统 开发 与 运行 的 基本 条 件 ， 开 发 体系 是 指 开发 
与 维护 管理 应 用 软件 的 工具 与 方法 。 它 又 可 以 分 为 技术 支撑 型 平台 软件 和 应 用 实现 型 平 
台 软 件 两 种 类 型 的 平台 。 平 台 软 件 的 结构 图 如 图 12-1 所 示 。 
。 技术 支 返 型 平台 :为 软件 系统 研发 提供 通用 技术 基础 架构 ， 主 要 面向 软件 开发 
人 员 ， 主 要 包含 应 用 软件 的 运行 支持 体系 和 上 层 开发 的 工具 ， 上 层 应 用 系统 
由 用 户 进行 研发 。 我 们 熟悉 的 有 BEA WebLogic、IBM WebSphere，Web 服务 
器 等 。 
。 应 用 实现 型 平台 : 指 用 来 构建 与 支撑 应 用 软件 的 独立 软件 系统 。 主 要 面向 应 用 
软件 的 终端 用 户 。 它 既 要 包括 应 用 软件 的 运行 支持 体系 和 上 层 应 用 开发 工具 ， 
又 要 直接 包括 上 层 应 用 系统 。 如 ERP 系统 平台 。 
平台 化 软件 具有 很 多 传统 软件 所 不 具有 的 优势 ， 包 括 以 下 几 项 内 容 。 
。 应 用 的 广泛 性 : 平台 化 软件 的 功能 更 加 全 面 、 履 盖 面 更 加 广泛 。 如 平台 化 的 ERP 
能 有 效 地 将 财务 管理 、 销 售 管 理 、 财 务 管理 、 客 户 关 系 、 采 购 与 库存 、 人 力 资 
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源 等 各 种 管理 模块 集成 在 一 起 ， 形 成 一 个 庞大 的 系统 。 平 台 化 软件 的 各 种 信息 
统一 存储 ， 实 现 管理 信息 的 共享 ， 从 而 提高 各 级 组 织 内 部 有 效 的 协作 和 快速 


反应 。 
2 
层 
应 
用 
本 | 
平 
台 
架 
构 TT 
运行 环境 
数据 库 | 
远程 通信 
操作 系统 


图 12-1 平台 软件 结构 图 


。 良好 的 开发 性 : 平台 化 软件 是 建立 在 共同 平台 上 的 一 个 系统 ， 模 块 相互 之 间 既 
具有 较 强 的 独立 性 ， 又 可 以 独立 使 用 ， 通 过 统一 的 数据 接口 可 实现 相互 间 的 无 
颖 集成 ， 同 时 可 以 实现 一 致 的 对 外 接口 。 因 此 ， 平 台 化 软件 具有 更 大 程度 的 灵 
活性 和 扩展 性 ， 不 仅 可 以 根据 客户 当前 的 需求 进行 选择 和 搭配 使 用 ， 而 且 具 备 
” ”了 更 好 的 二 次 开发 接口 。 
。 快捷 的 适应 性 : 平台 化 软件 的 上 层 应 用 开发 工具 可 以 实现 免 编程 的 应 用 系统 修 
改 ， 具 有 更 快捷 、 方 便 的 适应 能 力 。 , 
平台 化 软件 有 着 诺 多 优 氮 ， 目 前 平台 化 软件 已 被 认为 是 管理 软件 的 发 展 趋势 。 设 计 
良好 的 平台 化 软件 应 该 可 以 普 过 应 用 于 企业 管理 系统 、 校 园 管理 系统 、 电 子 政务 、 医 院 
管理 系统 等 各 行 各 业 。 真 正 的 平台 化 产品 不 应 该 是 在 原 有 的 固化 的 软件 基础 上 的 改造 ， 
因为 原 有 的 系统 使 用 硬 写 代码 的 方式 实现 ， 无 法 与 新 型 的 平台 化 软件 的 运行 支撑 系统 和 
应 用 开发 工具 结合 ， 实 现 客户 个 性 化 需求 的 免 编 程 定制 。 新 型 的 平台 化 产品 必须 具备 两 
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个 基本 要 素 ， 实 现 应 用 的 完全 可 定制 ， 而 不 是 原 有 系统 外 围 的 所 谓 “ 二 次 开发 ”。 
12.6.2 ”平台 化 软件 的 兼容 性 测试 策略 


平台 化 软件 在 设计 上 要 求 具 备 灵活 方便 的 二 次 开发 能 力 ， 实 现 分 布 式 应 用 系统 ， 做 
到 硬件 环境 独立 和 软件 环境 独立 ， 实 现 上 层 应 用 的 技术 无 关 性 以 及 采用 B/S 与 C/S 结构 
相 结 合 ， 因 此 对 于 平台 软件 来 说 ， 兼 容 性 测试 是 极为 重要 和 复杂 的 。 : 

。 跨 硬件 平台 能 力 ， 在 不 同 规模 的 硬件 平台 上 进行 测试 ， 例 如 ， 从 32 位 机 到 64 
位 机 ， 从 单机 运行 到 集群 运行 。 

。 跨 操 作 系统 能 力 ， 平台 化 软件 应 可 以 部 署 在 各 种 流行 的 操作 系统 上 ， 不 仅 应 当 在 
Windows 操作 系统 上 进行 测试 ， 还 应 当 在 UNIX、Linux、UNIX、MacOS 等 系统 
上 进行 测试 。 ee 

e。 支持 多 种 数据 库 系 统 : 包括 SQL Server、Oracle、DB2、Sybase 等 企业 级 数据 库 ， 
以 及 达 梦 、OpenBase、KingBase、Oscar 等 国产 主流 数据 库 。 

。 客户 端 兼 容 性 测试 : 平台 化 软件 往往 实现 的 是 分 布 式 的 应 用 系统 ， 因 此 可 能 采用 
C/S 或 B/S 结构 。 对 于 需要 进行 软件 安装 的 客户 端 ， 需 要 对 客户 端的 硬件 、 软 件 
兼容 性 分 别 进行 测试 ， 如 果 采 用 浏览 器 ， 则 还 需 进 行 对 浏览 器 兼容 性 的 测试 。 

e。 数据 兼容 性 测试 ， 平台 化 软件 是 建立 在 共同 平台 上 的 一 个 系统 ， 横 块 相互 之 间 
既 具 有 较 强 的 独立 性 ， 又 可 以 独立 使 用 ， 通 过 统一 的 数据 接口 又 以 可 实现 相互 
间 的 无 颖 集成 ， 同 时 可 以 实现 一 致 的 对 外 接口 。 因 此 ， 各 模块 间 数 据 的 兼容 性 
也 是 平台 化 软件 的 测试 点 之 一 。 

由 此 可 见 ， 平台 化 软件 的 测试 几乎 习 盖 了 软 硬 件 测试 的 全 部 领域 ,为 了 将 企业 原 有 

数据 向 平台 系统 转移 ， 还 需要 用 到 下 面 讲 到 的 新 有 系统 数据 迁移 测试 。 


12.7 “新旧 系 统 数据 迁移 测试 


12.7.1 新 旧 系 统 数据 迁移 技术 


随 着 技术 的 发 展 ， 原 有 的 系统 不 断 被 功能 更 强大 的 新 系统 所 取代 。 在 新 旧 系 统 的 切 
换 过 程 中 ， 必 然 要 面临 一 个 数据 迁移 的 问题 。 

有 的 旧 系统 从 局 用 到 被 新 系统 取代 ， 在 其 使 用 期 间 往往 积累 了 大 量 珍贵 的 历史 数 
据 ， 其 中 许多 历史 数据 都 是 新 系统 顺利 启用 所 必须 的 。 另 外 ， 这 些 历史 数据 也 是 进行 决 
策 分 析 的 重要 依据 。 数 据 迁 移 ， 就 是 将 这 些 历 史 数据 进行 清理 、 转 换 ， 并 装载 到 新 系统 
中 的 过 程 。 数 据 迁 移 主要 适用 于 一 套 旧 系统 切换 到 另 一 套 新 系统 ， 或 多 套 旧 系统 切换 到 
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同一 套 新 系统 时 ， 澳 要 将 旧 系 统 中 的 历史 数据 转换 到 新 系统 中 的 情况 。 银 行 。 电 信 、 税 
务 、 工 商 、 保 险 以 及 销售 等 领域 发 生 系统 切换 时 ， 一 般 都 需要 进行 数据 迁移 。 对 于 多 对 
一 的 情况 ， 例 如 ， 由 于 信息 化 建设 的 先后 ， 造 成 有 多 个 不 同 的 系统 同时 运行 ， 但 相互 间 
不 能 做 到 有 效 数据 共享 ， 需 要 一 亦 新 系统 能 够 解决 几 套 旧 系 统 间 的 数据 共享 问题 。 

数据 迁移 对 系统 切换 乃至 新 系统 的 运行 有 着 十 分 重要 的 意义 。 数 据 迁 移 的 质量 不 光 
是 新 系统 成 功 上 线 的 重要 前 提 ， 同 时 也 是 新 系统 今后 稳定 运行 的 有 力 保障 。 如 果 数 据 迁 
移 失 败 ， 新 系统 将 不 能 正常 启用 ; 如 果 数 据 迁 移 的 质量 较 差 ， 没 能 屏蔽 全 部 的 垃圾 数据 ， 
对 新 系统 将 会 造成 很 大 的 隐患 ， 新 系统 一 旦 访问 这 些 垃 圾 数据 ， 可 能 会 由 这 些 垃圾 数据 
产生 新 的 错误 数据 ， 严 重 时 还 会 导致 系统 异常 。 

相反 ， 成 功 的 数据 迁移 可 以 有 效 地 保障 新 系统 的 顺利 运行 ， 能 够 继承 珍贵 的 历史 数 
据 。 因 为 无 论 对 于 一 个 公司 还 是 一 个 部 门 ， 历 史 数 据 无 疑 都 是 一 种 十 分 珍贵 的 资源 ， 例 
如 ， 公 司 的 客 尸 信息 、 银 行 的 存款 记录 、 税 务 部 门 的 纳税 资料 等 。 因 此 ， 对 数据 迁移 进 
行 充分 的 测试 非常 必要 。 


12.7.2 ”新旧 系 统 数 据 迁移 的 实现 与 测试 


由 于 系统 部 畴 干 差 万 别 ， 数 据 迁移 具有 一 定 的 复杂 性 和 风险 性 ， 有 必要 在 进行 新 旧 
系统 数据 迁移 之 前 对 迁移 进行 测试 ， 提 高 迁移 成 功 的 概率 ， 降 低 风险 。 

数据 迁移 的 实现 可 以 分 为 三 个 阶段 : 数据 迁移 前 的 准备 、 数 据 迁 移 的 实施 和 数据 迁 
移 后 的 校 验 。 

由 于 数据 迁移 的 特点 ， 大 重 的 工作 都 需要 在 准备 阶段 完成 ， 充 分 而 周到 的 准备 工作 
是 完成 数据 迁移 的 基础 。 有 具体 而 言 ， 要 进行 待 迁移 数据 源 的 详细 说 明 ， 包 括 数据 的 存放 
方式 、 数 据 量 、 数 据 的 时 间 跨 度 等 ， 建 立新 旧 系 统 数据 库 的 数据 字典 ， 对 旧 系 统 的 历史 
数据 进行 质量 分 析 ， 新 旧 系 统 数据 结构 的 差异 分 析 ; 新 旧 系统 代码 数据 的 差异 分 析 ; 建 
立新 旧 系 统 数 据 库 表 的 映射 关系 ， 对 无 法 映射 字段 的 处 理 方法 ， 开 发 、 部 局 数据 转换 与 
迁移 工具 ， 编 写 数据 转换 的 校 验 程 序 ， 制 定数 据 转换 的 应 急 措 施 。 

数据 迁移 的 实施 是 实现 数据 迁移 的 三 个 阶段 中 最 重要 的 环节 。 它 要 求 制定 数据 转换 
的 详细 实施 步骤 流程 ; 准备 数据 迁移 环境 ; 结束 未 处 理 完 的 业务 事项 ， 或 将 其 告 一 段落 ; 
对 数据 迁移 涉及 的 技术 进行 测试 ， 最 后 实施 数据 迁移 。 

数据 迁移 后 的 校 验 是 对 迁移 工作 的 检查 ， 数 据 校 验 的 结果 是 判断 新 系统 能 和 否 正式 启 
用 的 重要 依据 。 可 以 通过 质量 检查 工具 或 编写 检查 程序 进行 数据 校 验 ， 通 过 试 运行 新 系 
统 的 功能 模块 ， 特 别 是 查询 、 报 表 功 能 ， 检 查 数 据 的 准确 性 。 

为 了 保证 数据 的 安全 性 ， 在 测试 和 实施 时 还 可 以 考虑 以 下 措施 。 

。 在 实际 运行 环境 之 外 搭建 模拟 环境 ， 导 入 部 分 或 全 部 数据 ， 在 模拟 环境 中 进行 
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一 次 或 数 次 模拟 迁移 尝试。 测试 不 仅 要 包括 旧 系 统 向 新 系统 的 迁移 ， 还 需 进 行 
新 系统 到 旧 系 统 的 反 向 迁移 ， 以 确保 在 迁移 过 程 失败 时 ， 可 以 及 时 恢复 有 旧 系 统 。 
在 测试 过 程 中 还 要 详细 记录 过 到 的 问题 ， 研 究 解决 方法 ， 并 预测 迁移 风险 。 

。 将 现 有 数据 进行 备份 ， 检 查 备份 数据 的 正确 性 ， 作 两 套 备 份 ， 比 较 两 份 备份 ， 
以 保证 备份 数据 完整 可 靠 。 

e。 如 果 有 备份 系统 ， 则 先 将 备份 系统 升级 到 新 系统 ， 保 持 主 服务 器 的 旧 系 统 不 动 ， 
切换 至 备份 服务 器 运行 一 周 ， 若 一 人 
主 服务 器 运行 。 


12.8 小结 


并 不 是 每 个 软件 都 要 测试 所 有 的 兼容 性 项 目的 测试 ,这 里 列 出 的 也 并 不 是 一 本 字典 ， 
不 可 能 收录 所 有 的 测试 项 ， 我 们 既 希 望 列 出 尽 可 能 多 的 测试 项 供 参考 ， 又 不 可 能 穷尽 所 
有 的 测试 项 。 在 实际 测试 中 ， 要 按照 软件 类 型 、 般 求 定位 和 测试 环境 进行 选择 ， 并 以 此 
为 思路 扩充 测试 方案 。 

蒜 容 性 测试 应 当 充 分 验证 软件 定义 的 适用 范围 ， 为 开发 者 和 用 户 提供 软件 使 用 的 信 
心 。 但 由 于 兼容 性 测试 所 需 的 投入 较 大 ， 因 此 测试 管理 人 员 必 须 作 出 取舍 ， 以 较 小 的 投 
入 达到 最 好 的 测试 效果 。 

还 要 注意 的 是 , 对 于 定制 系统 来 说 , 兼容 性 测试 应 尽早 进行 , 否则 系统 投入 使 用 后 ， 
随 着 系统 中 数据 的 增多 ， 兼 容 性 测试 的 风险 和 投入 将 越 来 越 大 。 
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13.1 概述 


随 洽 信息 技术 的 不 断 深入 和 发 展 ， 各 种 系统 软件 、 应 用 软件 越 来 越 多 ， 而 它们 之 间 
可 以 相互 方便 地 进行 通信 和 数据 区 换 的 需求 越 来 越 紧 迫 。 

在 我 国 许多 行业 领域 ， 在 逐步 完成 了 数据 信息 电子 化 积累 之 后 ， 如 何 有 效 地 进行 数 
据 的 交换 和 共享 ， 已 经 越 来 越 被 相关 的 行业 主管 部 门 所 重视 。 没 有 信息 的 标准 化 ， 各 企 
业 、 事 业 单位 的 数据 就 是 一 个 孤岛 ， 就 不 利于 整个 行业 的 数据 共享 和 业务 整合 。 

以 检察 行业 为 例 ， 在 由 几 和 二 个 检察 院 局 域 网 络 系 统 组 成 的 检察 信息 网 络 中 ， 各 单位 
使 用 的 网 络 操 作 系 统 、 数 据 库 、 邮 件 信 息 系统 等 应 用 平台 和 业务 应 用 系统 不 可 能 一 样 ， 
各 单位 具体 的 工作 程序 、 规 则 以 及 对 信息 化 的 需求 也 会 存在 差异 ， 如 何 科 学 地 规范 检察 
业务 应 用 系统 的 建设 ， 在 现 有 法 律 关系 、 工 作 机 制 和 管理 体制 下 ， 解 决 好 不 同 应 用 系统 
间 各 种 数据 信息 快速 、 准 确 、 商 效 地 进行 传递 、 交 换 和 共享 ， 直 接 影 响 到 检察 机 关 网 络 
信息 系统 的 使 用 效率 和 水 平 , 关系 到 检察 机 关 的 各 项 工作 能 否 真正 实现 信息 化 、 网 络 化 ， 
关系 到 能 否 发 挥 网 络 建设 的 投资 效果 ， 是 检察 机 关 信 息 化 建设 中 迫切 需要 解决 的 重要 问 
题 。 为 了 解决 丙 检 院 和 省 级 院 间 的 信息 数据 交换 问题 ， 保 证 所 有 网 络 应 用 软件 不 论 采用 
何 种 操作 系统 、 数 据 库 、 开 发 平台 和 开发 工具 ， 者 能 确保 数据 传递 、 交 换 、 检 索 、 统 计 
没有 技术 障碍 ， 保 证 信息 共享 和 业务 协作 的 顺利 实现 ， 进 而 建立 、 完 善 科学 、 合 理 的 检 
察 系统 网 络 应 用 软件 ， 就 有 必要 建立 检察 机 关 网 络 应 用 软件 的 数据 格式 规范 标准 ， 并 对 
应 用 于 检察 行业 的 软件 产品 进行 标准 符合 性 入 门 测试 。 

再 例如 ， 作 为 基础 应 用 软件 的 数据 库 管 理 系统 ， 几 十 年 来 数据 库 技术 研究 非常 活 
跃 ， 迅 速 发 展 ， 与 此 同时 ， 各 个 数据 库 管 理 系统 之 间 的 互 操作 性 、 移 植 性 越 来 越 受 到 
大 家 的 重视 ， 标 准 化 已 经 变 成 了 数据 库 管 理 系统 产品 被 用 户 接纳 和 认可 的 前 提 条 件 ， 
各 大 厂商 都 非常 注重 数据 库 标 准 化 工作 。20 世纪 90 年 代 以 后 , 数据 库 的 应 用 向 多 元 化 
方向 发 展 ， 大 型 的 应 用 往往 涉及 不 同 的 应 用 领域 ， 需 要 不 同 模型 的 数据 库 ， 再 加 上 开 
发 工具 的 发 展 ， 促 进 了 数据 库 标 准 的 成 熟 与 发 展 ， 国 产 数 据 库 系 统 的 标准 符合 性 测试 
也 纳入 正轨 。 

总 体 而 言 ， 标 准 符合 性 测试 就 是 测量 产品 的 功能 和 性 能 指标 ， 与 相关 国家 标准 或 行 
业 标 准 所 规定 的 功能 和 性 能 指标 之 间 符 合 程度 的 测试 活动 。 它 区 别 于 一 般 的 测试 ， 标 准 
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符合 性 测试 的 测试 依据 和 测试 规程 一 定 是 国家 标准 或 行业 标准 ， 本 
或 其 他 的 有 关 文 件 。 

标准 符合 性 测试 通常 有 两 种 方式 ， 一 是 自律 测试 ， 二 是 权威 测试 。 前 者 由 应 用 开发 
者 利用 适当 的 工具 对 自己 开发 的 产品 进行 测试 ， 测 试 工具 通常 由 行业 协会 提供 ， 有 的 还 
可 从 网 上 免费 获取 或 自主 开发 测试 程序 ， 后 者 则 是 委托 授权 的 机 构 对 厂商 提交 的 产品 进 
行 测试 ， 测 试 机 构 将 出 具 规范 化 的 测试 报告 ， 作 为 进一步 产品 标准 化 认证 的 技术 依据 ， 
即 第 三 方 认 证 《从 事 信 息 技术 产品 认证 工作 的 第 三 方 合格 评定 组 织 ， 依 据 我 国 已 发 布 的 
信息 技术 产品 强制 性 标准 、 推 荐 性 标准 和 国家 有 关 产 品 认 证 的 法 律 、 法 规 和 规章 ， 代 表 
国家 对 相关 产品 及 相关 设备 进行 认证 和 检测 工作 )。 


13.2 ”标准 符合 性 测试 主要 分 类 


如 前 所 述 ， 标 准 符合 性 测试 的 测试 依据 是 我 国 已 发 布 的 信息 技术 产品 强制 性 标准 、 
推荐 性 标准 等 相关 国家 标准 或 行业 标准 ， 尽 管 不 同行 业 依据 的 标准 本 身 可 能 千差万别 ， 
但 从 内 容 来 分 ， 主 要 分 为 以 下 四 类 。 

1. 数据 内 容 类 标准 

这 类 标准 主要 描述 用 于 数据 交换 与 互 操作 的 数据 格式 或 内 容 规范 。 例 如 中 华人 民 共 
和 国教 育 部 颁发 的 《教育 管理 信息 化 标准 》( 第 1 部 分 《学 校 管理 信息 标准 》)， 它 包括 与 
学 校 管 理 有 关 的 信息 集 与 代码 集 两 部 分 。 关 于 信息 集 的 检测 ， 要 求 验 证 被 测 信息 数据 表 
的 表 名 称 、 字 段 名 称 、 字 段 类 型 及 长 度 是 否 均 符 合 标准 ;关于 代码 集 的 检测 ， 要 求 验证 
被 测 代码 数据 表 中 的 代码 编号 、 代 码 名 称 是 否 符 合 标准 。 

再 如 ， 检 察 机 关 网 络 应 用 软件 的 数据 格式 规范 与 代码 符合 性 规范 ， 前 者 定义 了 适用 
于 检察 机 关 各 类 业务 所 需 的 70 多 个 XML Schema, 后 者 定义 了 各 种 基础 代码 的 代码 编号 
及 代码 含义 。 

2. 通信 协议 类 标准 

这 类 标准 主要 描述 用 于 数据 通信 与 传输 的 接口 数据 格式 。 例 如 智能 交通 管理 NTCIP 
协议 ,包括 :NTCIP 1201 v02.26《 国 家 运输 ITS 通信 协议 (NTCIP) 全 局 对 象 定义 和 NTCIP 
1201 v02.26《 国 家 运输 ITS 通信 协议 感应 式 交 通信 号 机 单元 对 象 定义 》 等 ， 分 别 定义 了 
交通 管理 中 心 和 外 场 设 备 之 间 的 信息 传递 ， 通 过 使 用 NTCIP 申请 层 服务 传达 请 求 存 取 ， 
或 修正 一 个 设备 中 储存 的 对 象 和 感应 信号 机 所 支持 对 象 的 定义 。 

再 例如 ， 中 国 远程 教育 CELTS-20 教学 管理 标准 中 的 基于 HTTP 协议 绑 定 规范 。 该 
标准 描述 了 一 个 基于 HTTP 协议 的 远程 教学 管理 平台 ， 学 生 与 教学 平台 进行 交互 操作 时 
所 需 的 数据 形式 及 内 容 。 
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3。 开 发 接口 类 标准 
这 类 标准 主要 描述 开发 接口 规范 。 如 : 国产 数据 库 系统 标准 符合 性 测试 包括 的 SQL 
标准 符合 性 测试 ，ODBC 标准 符合 性 测试 、JDBC 标准 符合 性 测试 等 。 
se。 所 谓 SQL 标准 符合 性 测试 ， 即 测试 数据 库 管理 系统 与 SQL 标准 的 符合 程度 ， 
分 为 语法 级 〈 即 所 接受 的 SQL 语言 与 标准 BNF 的 符合 程度 )、 语 义 级 〈 即 数据 
库 管 理 系统 所 实现 SQL 语言 执行 结果 与 SQL 标准 规定 结果 的 符合 程度 )。 目 前 
美国 标准 技术 研究 所 (NIST) 的 SQL 测试 用 例 库 代表 了 符合 性 测试 的 主流 ， 数 
' 据 库 系 统 对 该 测试 用 例 库 的 支持 程度 是 数据 库 管 理 系统 标准 化 的 重要 指标 。 
。 ODBC 规范 为 应 用 程序 提供 了 一 大 高 层 调用 接口 规范 和 基于 动态 链接 的 运行 支 
持 环 境 。 使 用 ODBC 开发 数据 库 应 用 程序 时 ， 应 用 程序 调用 的 是 标准 的 ODBC 
函数 和 SQL 语句 ， 数 据 库 的 底层 操作 由 各 个 数据 库 的 驱动 程序 完成 。 
。 JDBC 规范 为 Java 语言 访问 关系 数据 库 提 供 了 一 个 编程 接口 规范 ， 它 由 一 组 用 
Java 编程 语言 编写 的 类 和 接口 组 成 。JDBC 规范 为 数据 库 开 发 人 员 提 供 了 一 个 
标准 的 API， 使 他 们 能 够 用 纯 Java API 来 编写 数据 库 应 用 程序 。 目 前 JDBC 规 
范 的 最 新 版 本 为 DBC3.0 规范 。 
4. 信息 编码 类 标准 
如 GB18030 汉字 编码 标准 , 它 是 为 了 适应 信息 处 理 、 信 息 交 换 的 应 用 ， 对 字符 集 提 
出 了 多 文 种 、 大 字 重 、 多 用 途 的 要 求 而 定义 的 。GB 18030 中 文 符合 性 包括 字汇 完整 性 和 
体系 正确 性 两 方面 。 其 中 字汇 完整 性 指 被 测 软件 产品 的 字汇 范围 应 为 国家 标准 
GB 18030-2000 中 所 有 给 出 字形 的 字符 ， 包 括 27484 个 汉字 ， 总 编码 空间 超过 150 万 个 
码 位 ， 体 系 正确 性 要 求 被 测 软件 产品 对 于 符合 GB 18030 编码 的 文本 文件 (该 文本 文件 
可 以 包含 单字 节 、 双 字 节 和 四 字 节 字符 )， 应 能 够 进行 正确 识别 、 处 理 、 交 换 、 存 储 、 传 
输 、 显 示 、 输 入 和 输出 。 


13.3 ”测试 策略 
由 于 标准 符合 性 测试 的 不 同 分 类 ， 其 相应 的 测试 原理 也 不 尽 相同 。 
13.3.1 数据 内 容 类 标准 


如 《教育 管理 信息 化 标准 》( 第 1 部 分 《学 校 管理 信息 标准 》)， 在 测试 工具 设计 上 ， 
其 实现 原理 如 下 所 示 。 
e 将 符合 标准 的 信息 集 〈 表 结构 ) 与 代码 集 〈 表 内 容 ) 构建 在 测试 工具 数据 库 中 ， 
即 建立 标准 模板 ; 
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。 测试 工具 通过 ODBC、JDBC 等 数据 库 连接 方式 连接 被 测 软件 的 数据 库 ; 
e 测试 工具 提供 人 工 或 自动 方式 建立 模板 库 与 被 测 库 之 间 的 关联 ， 读 取 并 验证 相 
关 数 据 表 信息 ; 

。 生成 信息 集 与 代码 集 标 准 符合 性 检测 结果 报告 。 

注意 ， 在 实际 应 用 中 ， 从 易 维 护 的 角度 出 发 ， 被 测 软件 的 代码 集 可 能 不 是 多 个 不 同 
类 别 的 小 代码 表 集 ， 而 是 一 个 包含 各 种 类 别 的 大 代码 表 ， 但 测试 工具 模板 库 往 往 是 多 个 
不 同类 别 的 小 代码 表 集 ， 这 就 要 求 测试 工具 能 够 实现 一 对 多 或 多 对 多 的 关联 设置 。 

而 对 于 检察 机 关 网 络 应 用 软件 的 数据 格式 规范 与 代码 符合 性 规范 的 测试 工具 ， 可 条 
用 网 上 已 有 的 相关 工具 或 自行 开发 。 如 数据 格式 规范 测试 可 辅助 采用 已 有 的 XML 解析 
器 进行 ， 而 代码 符合 性 规范 可 采取 自行 开发 测试 工具 方式 执行 ， 测 试 步骤 包括 工具 中 建 
立 标准 模板 、 连 接 被 测 软件 、 与 标准 模板 比 对 测试 和 输出 测试 结果 。 


13.3.2 ”通信 协议 类 标准 


测试 工具 的 实现 原理 与 第 一 类 标准 基本 相似 ， 如 中 国 远程 教育 CELTS-20 教学 管理 
标准 中 的 , 基于 HTTP 协议 绑 定 规范 的 ， 测 试 工具 可 以 这 样 实现 : 了 建立 标准 模拟 课件 ， 
包 导 入 模拟 课件 到 被 测 平 台 , @ 测试 工具 自动 运行 模拟 课件 , 主动 与 被 测 平台 进行 数据 
通信 ; 多 将 二 者 通信 内 容 与 工具 中 的 标准 模板 内 容 进行 比较 ， 得 出 比较 分 析 结 果 。 


13.3.3 ”开发 接口 类 标准 


1，SQL 标准 符合 性 测试 

按照 SQL92/97 标准 ， 全 面 测试 一 个 SQL 产品 的 功能 特性 。 在 详细 研究 美国 标准 技 
术 研 究 所 (NIST) 的 测试 用 例 库 〈 即 在 整个 测试 过 程 中 ， 只 需要 执行 全 部 的 测试 用 例文 
件 ， 最 后 统计 通过 的 测试 用 例 即 可 ) 的 基础 上 ， 可 自行 开发 一 个 集 测 试 和 结果 的 定量 分 
析 于 一 体 的 自动 化 测试 工具 ， 利 用 该 测试 工具 可 以 直接 选择 被 测 文件 ， 运 行 并 统计 运行 
的 结果 。 

通过 的 入 门 级 测试 用 例 数 占 入 门 级 测试 用 例 总 数 的 比例 ， 即 为 入 门 级 测试 通过 率 。 
通过 的 过 渡 级 测试 用 例 数 占 过 渡 级 测试 用 例 总 数 的 比例 ， 即 为 过 渡 测 试 通过 率 。 

为 了 保证 测试 结果 的 真实 性 ， 还 可 采用 交互 式 测试 用 例 验证 测试 结果 ， 如 果 发 现 问 
题 ， 则 相应 的 嵌入 式 测 试用 例 的 结果 视 为 不 通过 。 

2. ODBC 标准 

可 采用 SWsoft Inc 开发 的 ODBC2.5 标准 符合 性 测试 工具 进行 测试 。 在 此 基础 上 ， 
按照 ODBC3.0 标准 对 测试 用 例 进行 相当 规模 的 修改 和 扩充 , 并 且 将 微软 的 QUICK TEST 
测试 工具 的 部 分 模块 集成 到 该 测试 工具 中 ， 同 时 对 测试 结果 进行 了 定量 的 分 析 。 
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其 中 ， 对 API 函数 的 测试 ， 参 照 微 软 的 测试 工具 (QuickTest) 对 每 个 函数 选 定 一 种 
最 们 单 的 参数 组 合 来 测试 ， 仅 用 其 作 简单 的 支持 性 测试 。 此 项 测试 根据 通过 测试 的 函数 
的 百分比 来 计算 。 对 于 其 他 的 更 重要 的 应 用 功能 ， 是 通过 其 他 更 详细 、 更 复杂 的 测试 用 
例 来 验证 的 ， 其 执行 结果 的 成 功 与 否 直 接 记 录 为 测试 结果 。. 

3. JDBC 标准 

可 在 SUN 公司 开发 的 JDBC 标准 符合 性 测试 工具 基础 上 ， 按 照 JDBC3.0 标准 对 测 
试用 例 进行 修改 和 扩充 ， 同 时 加 入 对 测试 结果 的 定量 分 析 功 能 。 

JDBC 标准 符合 性 测试 完成 后 ， 统 计 各 个 接口 或 类 中 API 函数 通过 的 测试 用 例 点 的 
数量 ， 技 用 例 通 过 的 比例 和 每 个 类 或 接口 所 占 的 权 值 计算 总 体 得 分 。 


13.3.4 ”信息 编码 类 标准 


例如 ， 对 GB18030 中 文 符合 性 测试 ， 包 插 字 汇 完整 性 和 体系 正确 性 两 方面 。 
对 于 字汇 完整 性 可 采用 抽样 测试 的 方法 ， 其 过 程 如 下 。 


生成 标准 测试 文件 。 即 依照 GB 18030 的 字符 集 生 成 字符 数据 文件 (如 .TXT)， 
包括 GB 18030 中 定义 的 全 部 汉字 区 、 符 号 区 、 保 留 区 和 用 户 自 定义 区 。 
运行 被 测 软 件 , 打开 已 生成 的 标准 文本 文件 , 将 屏幕 显示 内 容 与 GB 18030 中 指 
定 内 容 进 行 对 比 ， 记 录 屏 藉 显 示 对 比 结果 。 

运行 待 测 软件 ， 打 开 已 生成 的 文本 文件 并 打印 其 内 容 ， 将 打印 结果 与 GB 18030 
中 指定 内 容 进 行 对 比 ， 记 录 打 印 对 比 结果 。 

抽样 对 比 。 例 如 : 抽样 方法 可 定义 为 单字 节 抽 样 率 达到 100%， 双 字 节 1 区 抽样 


率 达 到 约 20%, 双 字 节 2 区 抽样 率 达 到 约 15%, 双 字 节 3 区 抽样 率 达 到 约 10%， 


双 字 节 4 区 抽样 率 达 到 约 5%, 双 字 节 5 区 抽样 率 达到 约 20% 和 四 字 节 区 抽样 率 
达到 约 5%。 抽 样 范围 包括 边界 字符 和 中 间 随 机 字符 ， 如 有 错误 则 抽样 率 加 倍 ， 
直至 抽样 率 达 到 100%。 各 区 和 矩阵 的 抽样 率 均 应 达到 100%。 抽 样 对 比 测试 办 法 
如 下 : 单字 节 区 ， 逐 字 对 比 。 双 字 节 1 一 5 区， 以 第 一 字 节 相同 的 所 有 字符 构成 
一 个 矩阵 为 一 个 检查 单位 ， 每 矩阵 抽查 第 一 个 字符 、 最 后 一 个 字符 ， 在 其 他 字 
符 中 技 前 述 抽样 率 随 机 抽查 数 个 字符 ， 如 果 被 抽样 字符 中 出 现 对 比 结果 不 符合 
现象 ， 或 发 现 明 显 的 “? ”、 方 框 、 连 续 空白 ， 则 技 前 述 抽样 方法 进行 。 双 字 节 
用 户 区 1 一 3， 与 用 户 文档 中 承诺 的 用 户 自 定义 字符 列表 或 用 户 自 定义 界面 的 输 
入 结果 进行 对 比 ， 抽 样 率 为 10%; 如 没有 用 户 自 定义 字符 ， 则 应 不 显示 字符 。 
四 字 节 区 ， 每 区 抽查 第 一 个 字符 、 最 后 一 个 字符 ， 在 其 他 字符 中 随机 抽查 数 个 
字符 (区 抽样 率 宇 5%)， 如 果 被 测字 符 中 出 现 对 比 结果 不 符合 现象 ， 或 发 现 明 
显 的 “? ”、 方 框 、 空 白 ， 则 对 比 整 个 矩阵 。 
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对 于 体系 正确 性 测试 ， 其 测试 过 程 包 括 : 
e 生成 随机 文件 , 即 从 GB 18030 定义 的 全 部 字符 中 随机 抽取 ， 而 形成 的 大 于 5000 
字符 的 文本 。 文 本 中 包括 单字 节 区 、 各 双 字 节 区 、 四 字 节 区 中 的 字符 ， 所 有 字 
符 随 机 组 合 。 
。 编辑 处 理 ， 即 在 被 测 的 软件 平台 上 ， 将 已 生成 的 随机 文件 打开 ， 并 进行 编辑 处 
理 ， 包 括 插入 字符 、 删 除 字 符 、 存 储 字 符 、 复 制 粘 贴 、 打 印 等 操作 ， 各 类 操作 
均 包 括 单字 节 区 、 各 双 字 节 区 、 四 字 节 区 中 的 字符 。 
。 记录 结果 ， 即 记录 编辑 处 理 文本 文件 的 结果 。 
对 于 字汇 完整 性 ， 符 合 以 下 所 有 条 件 的 ， 字 汇 完整 性 成 绩 为 通过 ， 其 他 情况 为 不 
通过 。 
。 单字 节 区 显示 和 打印 的 符合 率 均等 于 100%。 
。 双 字 节 各 区 显示 和 打印 的 符合 率 均 大 于 98%。 
e 四 字 节 区 显示 和 打印 的 符合 率 均 大 于 97%。 
对 于 体系 正确 性 ， 插 入 字符 、 删 除 字 符 、 存 储 字 符 、 复 制 粘 贴 、 打 印 等 编辑 操作 处 
理 正 确 为 通过 ， 出 现 乱 字符 、 多 字符 、 丢 字符 或 其 他 影响 编辑 操作 的 处 理 结果 为 不 通过 。 
只 有 在 字汇 完整 性 与 体系 正确 性 的 成 绩 均 为 通过 时 ， 总 成 绩 为 通过 。 其 他 情况 为 不 
通过 。 
目前 ， 由 于 GB18030 的 测试 主要 依靠 人 工 验证 ， 所 以 测试 过 程 相 对 繁琐 一 些 。 


13.4 测试 实施 


标准 符合 性 测试 工具 与 一 般 功 能 和 负载 压力 测试 工具 有 着 明显 的 不 同 ， 它 是 为 明确 
的 应 用 对 象 和 测试 目的 服务 的 ， 具 有 更 强 的 针对 性 ， 应 用 范围 相对 而 言 更 具体 、 更 狭隘 
一 些 。 标 准 符 合 性 测试 的 基本 原理 ， 就 是 将 被 测 软件 产品 的 功能 与 性 能 指标 ， 和 标准 规 
定 必须 满足 的 功能 和 性 能 指标 进行 比较 ， 从 而 确定 软件 产品 对 标准 的 符合 程度 。 

一 般 来 说 ， 标 准 符合 性 测试 可 以 按 以 下 步 又 实施 。 

Q 阅读 和 理解 标准 :很 多 人 可 能 不 理解 或 者 不 认为 应 该 将 它 归 为 标准 符合 性 测试 的 
第 一 步 ， 但 它 确实 是 实施 有 效 的 标准 化 符合 性 测试 的 前 提 。 因 为 ， 大 多 数 情况 下 制定 标 
准 和 进行 标准 符合 性 测试 的 不 是 同一 组 人 ， 因 此 ， 在 测试 正式 开始 之 前 ， 首 先 就 必须 很 
好 地 阅读 并 理解 标准 的 目的 、 意 义 、 范 围 和 具体 的 指标 内 容 ， 否 则 测试 结果 就 会 产生 
偏差 。 

他 确定 测试 工具 : 标准 符合 性 自动 化 测试 一 般 需 要 依靠 特定 的 测试 工具 来 完成 , 可 
以 选择 适当 的 商业 化 测试 工具 ， 也 可 以 根据 情况 决定 自主 开发 相应 的 测试 工具 。 如 前 所 
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述 ， 由 于 标准 具有 特定 性 ， 所 以 大 多 数 情 况 下 ， 针 对 标准 的 符合 性 测试 工具 ; 需要 测试 
组 自行 开发 或 者 修改 已 有 的 测试 工具 。 如 果 需 要 开发 测试 工具 ， 则 必须 执行 一 个 严格 的 
开发 流程 ， 确 保 测试 工具 本 身 的 正确 性 和 有 效 性 。 

@ 确定 用 例文 件 : 对 于 测试 标准 并 不 包含 测试 用 例 的 ， 测试 组 需要 根据 标准 规定 的 
格式 定义 各 种 测试 用 例 ， 当 然 应 该 包含 正常 的 和 异常 的 测试 用 例 。- 

@ 执行 用 例文 件 : 确定 了 相应 的 测试 工具 和 测试 用 例 后 , 就 可 以 执行 测试 并 记录 测 
试 执行 的 结果 。 

图 分 析 测 试 结 果 :“ 标 准 符合 性 ”顾名思义 应 该 就 有 一 个 测试 结果 基准 库 ， 通 常情 
况 下 ， 它 规定 了 输入 与 输出 的 对 应 关系 ， 标 准 符合 性 的 测试 过 程 就 是 将 测试 用 例 〈 被 测 
产品 ) 的 输入 输出 与 基准 库 定义 的 输入 输出 相 比 较 ， 从 而 对 与 标准 不 一 致 的 输入 输出 进 
行 统计 分 析 ， 确 定 测试 结果 以 及 被 测 产品 对 标准 的 符合 程度 。 

在 测试 结果 的 分 析 与 评价 上 主要 有 两 种 形式 ; 一 种 认为 要 全 部 符合 标准 才 算 通过 ， 
即 Yes or No 方式 ; 一 种 则 通过 测试 符合 标准 的 程度 来 判定 ， 如 认为 80% 以 上 的 符合 率 
即 为 基本 符合 标准 。 

正 是 信息 技术 的 深入 发 展 ， 及 相关 应 用 间 方便 快捷 地 进行 通信 和 数据 交换 的 迫切 震 
要 ， 使 得 信息 技术 标准 化 和 标准 符合 性 测试 的 重要 性 日 益 凸 现 。 

在 实际 应 用 中 ， 根 据 不 同 的 层面 ， 对 标准 的 分 类 有 多 种 方式 ， 这 里 仅 从 信息 技术 不 
同 标准 的 内 容 划分 为 主要 的 四 类 ， 并 就 相应 常用 的 测试 原理 进行 了 阐述 。 

标准 的 价值 在 于 应 用 。 因 此 ， 如 何 准确 高 效 地 实施 测试 、 衡 量 标准 的 应 用 是 重要 的 
环节 。 第 三 方 测试 机 构 代 表 国家 对 相关 产品 及 相关 设备 进行 评测 的 过 程 中 ， 也 是 严格 依 
据 标准 本 身 对 产品 进行 标准 符合 性 测试 的 ， 这 必 将 进一步 推动 我 国信 息 技 术 标准 化 建设 
更 上 新 的 台阶 。 
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14.1 概述 


软件 是 用 来 使 用 的 ， 一 个 软件 开发 完成 之 后 ， 除 了 要 满足 可 用 性 (正确 性 ) 之 外 ， 
还 要 有 很 好 的 易 用 性 ， 最 终 用 户 是 否 感到 软件 容易 使 用 ， 直 接 决 定 了 一 个 软件 能 否 取得 
市 场 的 成 功 。 比 如 Windows 操作 系统 在 技术 上 并 不 比 UNIX 更 先进 ， 但 是 Windows 操 
作 系 统 在 保 面 领域 却 风暴 人 全球， 关键 在 于 它 美 观 易 用 。 而 失败 的 例子 也 比比 演 是 ， 一 个 
单位 开发 了 办 公 自 动 化 系统 ， 配 备 了 很 好 的 机 器 设备 和 网 络 环境 ， 领 导 也 非常 重视 ， 但 
是 使 用 了 一 段 时 间 之 后 就 把 它 东 之 商 阁 了 ， 义 重新 加 到 了 手工 时 代 ， 问 是 的 关键 在 于 该 
系统 没 能 很 好 地 体现 用 户 的 使 用 习惯 ， 不 符合 行业 特 上 后。 

易 用 性 是 指 软件 产品 被 理解 、 学 习 、 使 用 和 吸引 用 户 的 能 为 。 软 件 是 否 易 用 、“ 友 
好 ”已 经 成 为 软件 质量 的 一 个 重要 体现 。 易 用 性 同时 是 一 个 很 广泛 的 概念 ， 它 涉及 到 易 
理解 性 、 易 学 习性 、 美 观 性 ， 一 致 性 、 业 务 符合 性 等 方面 ， 对 于 测试 工程 师 来 说 ， 易 用 
性 测试 是 非常 富有 挑战 性 的 工作 ， 因 为 易 用 性 测试 往往 要 依靠 工程 师 的 经 验 以 及 对 行业 
知识 的 深刻 理解 ， 而 对 一 个 具有 复杂 业务 逻辑 的 应 用 系统 来 说 ， 进 行 易 用 性 测试 ， 往 往 
还 种 要 用 户 的 参与 。 

易 用 性 测试 不 仅 是 针对 应 用 程序 的 测试 ， 而 且 还 要 包括 用 户 手册 等 系列 文档 ， 关 于 
文档 易 用 性 测试 方面 的 内 容 可 以 参见 文档 测试 部 分 ， 这 里 主要 描述 的 是 如 何 对 应 用 程序 
进行 易 用 性 测试 。 对 易 用 性 测试 我 们 分 四 部 分 进行 讨论 ， 安装 测试 、 功 能 易 用 性 测试 、 
界面 测试 和 辅助 系统 测试 。 


14.2 ”安装 测试 


除了 嵌入 式 软件 之 外 ， 安 装 是 软件 产品 实现 其 功能 的 第 一 步 。 对 于 一 般 的 应 用 软 
件 来 说 ， 坊 早 体 现 其 易 用 性 的 就 是 软件 安装 。 现 在 的 软件 系统 越 来 越 庞 大 ， 有 可 能 使 安 
装 过 程 变 得 复杂 ， 安 装 耗 时 也 会 越 来 越 长 。 没 有 正确 的 安装 根本 就 谈 不 上 正确 的 使 用 ， 
因此 安装 测试 就 显得 尤为 重要 ， 安 装 的 易 用 性 是 安装 测试 的 主要 内 容 。 

安装 测试 的 方法 很 简单 ， 就 是 按照 用 户 安装 手册 安装 软件 ， 来 评估 安装 过 程 的 易 用 
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性 、 正 确 性 。 那 么 对 于 安装 测试 冤 要 注意 一 些 什么 呢 ， 我 们 认为 至 少 应 该 从 以 下 几 个 方 
面 来 考虑 。 


安装 手册 的 评估 。 在 安装 前 第 要 检查 安装 手册 或 用 户 文 档 中 的 安装 说 明 ， 一 般 
来 说 ， 安 装 手册 需要 对 安装 平台 、 安 装 过 程 需 注意 的 事项 以 及 需 手 动 配置 的 部 
分 进行 详细 说 明 。 

安装 的 自动 化 程度 测试 。 由 于 制作 安装 程序 的 软件 很 多 ， 其 中 很 成 熟 的 有 
Installshield 等 ， 很 多 软件 采用 了 目 动 安装 的 方式 。 但 由 于 部 分 软件 的 特殊 性 ， 
有 时 必须 采用 一 定 的 手动 配置 来 完成 安装 。 我 们 要 评估 软件 安装 过 程 的 自动 化 
程度 。 一 般 来 说 ， 软 件 的 安装 程序 尽量 要 做 到 “全 自动 化 ”， 即 使 在 不 得 已 的 情 
况 下 需要 进行 手动 配置 ， 也 要 采取 一 些 措施 ， 比 如 选择 框 方式 等 ， 使 手动 配置 
变 得 简便 和 明确 。 

安装 选项 和 设置 的 测试 。 在 安装 过 程 中 常常 需要 对 安装 的 项 目 进行 选择 ， 也 可 
能 要 设置 不 同 的 信息 ， 比 如 安装 路 径 等 。 安 装 测 试 时 需要 对 不 同 的 选项 和 设置 
方案 进行 测试 ， 验 证 各 种 方案 是 否 都 能 安装 成 功 。 

安装 过 程 的 中 断 测试 。 一 个 大 型 的 软件 有 可 能 需要 数 小 时 来 进行 安装 ， 如 果 因 
为 断 电 、 文 件 冲突 或 读 写 错误 导致 安装 过 程 的 非 正 常 中 断 ， 有 可 能 使 已 进行 的 
安装 工作 前 功 尽 弃 。 一 个 好 的 自动 化 安装 程序 应 该 能 记忆 安装 的 过 程 ， 当 恢复 
安装 时 ， 安 装 程序 能 自动 进行 检测 ， 并 从 “上 断 点 ”继续 安装 。 

安装 顺序 测试 。 对 于 大 多 数 应 用 系统 ， 特 别 是 分 布 式 系统 ， 常 常 需 要 安装 软件 
系统 的 不 同 组 成 部 分 。 不 同 的 安装 顺序 常常 会 导致 安装 失败 ， 或 者 会 引起 一 些 
不 可 预料 的 错误 ， 例 如 ， 先 安装 客户 端 后 安装 服务 器 ， 会 导致 某 些 软件 的 客户 
端 与 服务 器 连接 不 上 上。 如果 《安装 手册 》 中 未 明确 指出 安装 顺序 ， 则 需要 测试 
不 同 顺序 的 安装 过 程 。 

多 环境 安装 测试 。 不 同 的 应 用 环境 下 安装 的 情况 也 是 不 一 样 的 ， 我 们 至 少 要 在 
标准 配置 、 最 低 配 置 和 笔记 本 电脑 三 种 环境 中 进行 安装 测试 。 很 多 情况 下 产品 
声称 的 最 低 配 置 并 不 符 实 ， 所 以 最 低 配置 环境 测试 是 非 当 必要 的 。 另 外 ， 有 些 
系统 级 的 软件 常常 在 笔记 本 电脑 上 安装 时 发 生 错 误 ， 例 如 ， 由 于 笔记 本 电脑 的 
高 集成 度 特性 ，Linux 桌面 操作 系统 在 笔记 本 安装 时 出 现 硬件 兼容 性 问题 。 


安装 的 正确 性 测试 。 在 上 述 的 安装 测试 后 ， 都 需要 进行 简单 的 使 用 以 验证 安装 


的 正确 性 。 另 外 ， 还 要 考察 对 其 他 应 用 程序 的 影响 。 

修复 安装 测试 与 印 载 测试 。 修 复 安装 测试 指 软件 使 用 后 ， 根 据 需 要 应 加 或 删除 
软件 的 一 些 组 件 或 者 修复 受 损 的 软件 。 修 复 安装 和 印 载 也 应 该 是 目 动 化 的 ， 通 
常情 况 下 ， 安 装 、 修 复 安 装 以 及 卸载 是 一 个 完整 安装 程序 中 的 不 同 选项 。 进 行 
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修复 安装 测试 时 ， 需 检查 修复 对 软件 有 无 不 良 的 影响 ， 例 如 ， 修 复 可 能 造成 系 
统 数 据 丢 失 。 印 载 测 试 重点 检查 印 载 是 否 完全 ， 不 能 完全 印 载 时 有 无 明确 提示 
信息 等 。 


功能 易 用 性 测 斌 


功能 易 用 性 的 概念 范围 很 广 ， 这 里 列 出 了 一 些 比较 重要 的 功能 易 用 性 测试 项 ， 如 下 


所 示 。 


业务 符合 性 : 软件 使 用 的 目的 是 替代 部 分 人 工 劳动 ， 提 高 工作 效率 ， 因 此 ， 软 
件 必 须 符 合 其 所 服务 的 领域 的 业务 逻辑 。 这 就 要 求 软件 的 界面 风格 、 表 格 设计 、 
业务 流程 、 数据 加 密 机 制 革 的 设计 必须 符合 相关 的 法 律 法 规 、 业界 标准 规范 以 
及 使 用 人 员 的 习惯 。 

功能 定制 性 ， 为 了 适应 用 户 知 求 的 不 断 变 化 ， 软 件 功 能 应 当 能 够 灵活 定制 ， 如 
电子 政务 软件 的 公文 流转 节点 ， 应 可 以 灵活 定义 ， 工资 软件 中 部 门 结构 和 人 员 
归属 应 可 灵活 调整 等 。 

业务 模块 的 集成 度 ， 在 一 个 系统 中 业务 模块 之 间 有 可 能 存在 较 紧密 的 关联 ， 例 
如 在 ERP 系统 中 , 采购 某 些 零 部 件 之 后 必须 进行 质 检 , 这 样 的 业务 和 需求 造成 “ 采 
购 管理 ”模块 与 “质量 检测 ”模块 存在 直接 的 关联 ， 那 么 用 户 能 否 在 “采购 管 
理 ” 用 户 操作 界面 下 ， 直 接 进 入 “质量 检测 ”模块 ， 并 且 “ 采 购 管 理 ” 模 块 中 
的 零 部 件数 据 能 否 直接 传递 给 “质量 检测 ”模块 。 

数据 共享 能 力 :“ 一 次 输入 、 多 处 应 用 ”不 仅 能 够 减少 用 户 的 重复 输入 工作 , 更 
有 效 地 保证 了 数据 的 正确 性 。 在 软件 设计 中 必须 充分 考虑 数据 库 表 的 关联 和 数 
据 重 用 问题 ， 最 大 程度 地 减少 用 户 的 重复 输入 ， 同 时 保证 数据 传递 的 一 致 性 。 

约束 性 ， 对 于 流程 性 比较 强 的 业务 操作 ， 上 一 步 操作 完成 之 后 ， 要 强制 进行 下 
一 步 操作 ， 这 时 需要 软件 以 向 导 或 与 屏蔽 无 关 操 作 的 方式 来 限制 用 户 的 操作 ; 

另外 ， 应 以 屏蔽 或 提示 的 方式 阻止 用 户 输入 非法 字符 或 进行 损害 数据 和 系统 的 
操作 ， 这 样 才能 有 效 地 避免 用 户 犯错 误 ， 同 时 也 减少 了 系统 出 现 异 常 的 概率 ， 

提高 系统 的 安全 可 靠 性 。 

交互 性 包括 用 户 操作 的 可 见 性 和 系统 对 用 户 的 反馈 。 对 于 用 户 的 每 一 步 操作 
都 应 有 所 回应 或 者 提示 ， 使 用 户 清晰 地 看 到 系统 的 运行 状态 。 例 如 ， 在 执行 复 
制 操作 时 ， 人 至 少 应 该 向 用 户 反 馈 操作 持续 时 间 ， 显 示 计 算 机 正在 工作 ， 没 有 停 
灌 或 者 报错 。 对 于 用 户 来 说 ， 这 种 回应 与 提示 是 对 用 户 操作 的 认可 与 尊重 ,更 
有 助 于 用 户 确 定 下 一 步 操 作 该 如 何 进行 。 
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。 错误 提示 : 关键 操作 完成 后 或 数据 删除 等 操作 前 给 出 明确 提示 ， 操 作 错误 或 系 
统 出 现 错误 时 ， 给 出 的 出 错 信息 中 提供 差错 产生 的 原因 ， 并 指示 如 何 进入 正确 
的 步 又， 帮助 用 户 从 错误 中 恢复 。 


14.4 用 户 界 面 测试 


用 户 界 面 测试 主要 核实 用 户 与 软件 之 间 的 交互 ， 验 证 用 户 界 面 中 的 对 象 是 否 技 照 预 
期 的 方式 运行 ， 并 符合 国家 或 行业 的 标准 。 

客 面 测试 中 的 部 分 工作 主观 性 比较 强 , 测试 结果 人 往往 与 测试 人 员 的 喜好 有 关 。 因 此 ， 
界面 测试 的 一 个 缺点 就 是 ， 测 试 人 员 在 整个 测试 过 程 中 身心 不 可 能 保持 一 致 ， 在 一 定 程 
度 上 会 影响 测试 结果 的 准确 性 。 

用 户 界 面 测试 可 分 为 整体 界面 测试 和 并 面 中 的 元 素 测试 。 界 面 中 的 元 素 主 要 包括 窗 
口 、 菜 单 、 图 标 、 文 字 、 鼠 标 等 。 


14.4.1 “界面 整体 测试 


界面 整体 测试 是 指 对 界面 的 规范 性 、 一 致 性 、 合 理性 等 进行 测试 和 评估 。 

1， 规范 性 测试 

软件 的 界面 要 尽量 符合 现行 标准 和 规范 ， 并 在 应 用 软件 中 保持 一 致 。 而 开发 软件 时 
就 要 充分 考虑 软件 界面 的 规范 性 ， 最 好 的 办 法 是 采取 一 套 行业 标准 。 现 在 许多 行业 已 有 
自己 的 标准 ， 如 IBM 标准 、Microsoft 标准 、Apple 标准 。 这 些 标准 已 经 基本 包含 “菜单 
条 、 工 具 栏 、 工 具 箱 、 状 态 栏 、 滚 动 条 、 右 键 快 捷 菜 单 ” 的 标准 格式 ， 以 上 标准 已 经 基 
本 完善 ， 对 某 些 行业 只 需 利用 已 有 的 成 果 就 可 以 。 

对 于 一 些 特殊 行业 ， 由 于 系统 使 用 环境 和 用 户 使 用 习惯 的 特殊 性 ， 使 用 以 上 标准 是 
远 远 不 够 的 ， 还 要 对 自身 特殊 的 需要 加 以 补充 。 如 软件 的 用 户 定 位 包括 不 同年 龄 阶段 的 
用 户 ， 那 么 就 会 有 一 些 用 户 基本 不 使 用 鼠标 右键 ， 年 龄 较 大 的 用 户 难 以 看 消 密集 的 较 小 
的 文字 ， 或 用 户 对 计算 机 系统 和 网 络 不 够 熟悉 ， 或 硬件 环境 一 般 ， 甚 至 比较 矢 ， 少 有 了 配 
置 优良 的 计算 机 等 等 。 在 这 种 环境 下 ， 用 户 对 计算 机 的 使 用 一 般 没 有 使 用 倾 同 ， 大 多 更 
适应 手工 操作 。 像 这 种 情况 ， 特 殊 行 业 都 要 有 一 套 目 己 比较 完善 的 标准 和 规范 。 

这 些 标准 和 规范 是 经 过 各 种 类 型 的 测试 与 评估 ， 不 断 总 结 ， 经 验 积 累 和 反 反 复 复 设 . 
计 成 果 。 在 界面 测试 中 ， 测 试 工程 师 应 该 严格 遵循 这 些 标 准 和 规范 设计 界面 规范 性 测试 
用 例 。 、 

2. 合理 性 测试 

界面 的 合理 性 是 指 界面 是 否 与 软件 功能 相 陨 洽 ， 界 面 的 颜色 和 布局 是 和 否 协 调 等 。 如 
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果 界 面 不 能 体现 软件 的 功能 ， 那 么 界面 的 作用 将 大 打折 扣 。 所 以 ， 界 面 的 合理 性 是 界面 
美的 首要 因素 ， 它 提醒 设计 者 不 要 片面 追求 外 观 漂 亮 而 导致 失真 或 华而不实 。 

” 合理 性 差 的 界面 无 疑 会 混淆 软件 意图 ， 致 使 用 户 产生 误解 。 即 使 它 不 损害 软件 功能 
与 性 能 ， 也 会 使 用 户 产 生 不 该 有 的 情绪 波动 。 合 理 的 用 户 界 面 是 应 用 程序 的 一 个 重要 组 
成 部 分 ， 也 是 使 软件 易 用 的 重要 基础 。 空 间 使 用 应 当 形 成 一 种 简洁 、 有 序 、 易 于 操作 的 
布局 ， 使 信息 组 织 具有 艺术 性 。 如 果 一 个 界面 上 有 太 多 或 者 杂乱 无 章 的 控件 ， 会 给 用 户 
寻找 字段 或 者 控件 带 来 不 便 和 困难 。 

测试 软件 界面 的 合理 性 一 般 通 过 观察 进行 ， 举 例如 下 。 

。 界面 中 元 素 的 文字 、 颜 色 等 信息 是 否 与 功能 不 一 致 ; 

. 前 景 与 背景 色 搭配 是 否 合理 协调 ， 反 差 是 不 是 太 大 ; 
”界面 中 的 元 素 大 小 和 布局 是 否 协调 ; 
窗口 的 比例 是 否 合 适 。 
， 一致 性 测试 
一 致 性 既 包 括 使 用 标准 的 控件 ， 也 指 相同 的 信息 表现 方法 ， 如 在 字体 、 标 签 风格 、 
颜色 、 术 语 、 显 示 错 误 信息 等 方面 确保 一 致 。 好 的 软件 界面 都 具有 相似 的 界面 外 观 、 布 
局 、 交 互 方式 以 及 信息 显示 等 。 界面 保持 高 度 一 致 性 ， 用 户 可 以 减少 过 多 的 学 习 和 记忆 
量 ， 从 而 降低 培训 和 支持 成 本 。 
此 外 ， 软件 的 界面 在 不 同 平台 上 是 否 表现 一 致 呢 ? 作为 测试 人 员 不 要 忽略 这 一 点 。 
如 颜色 、 字 体 ， 有 时 有 些 软件 在 不 同 的 平台 表现 得 不 尽 如 人意 “一 一 ”在 一 个 系统 上 看 
上 去 很 好 ， 在 另 一 个 系统 上 常常 看 上 去 很 粮 。 z 
对 于 在 不 同 的 平台 测试 软件 界面 的 一 致 性 可 以 用 下 面 的 方法 : 在 不 同 分 辨 率 下 ， 观 
察 界面 的 美观 程度 , 分 别 在 800X600，1024X768，1152X864，1280X768，1280X 1024， 
1200X1600 大 小 的 字体 下 进行 测试 。 一 个 好 的 软件 要 有 一 个 默认 的 分 辩 率 ,而 在 其 他 分 
辩 率 下 也 都 能 运行 。 / 
yep 在 测试 界面 一 致 性 时 应 该 注意 以 下 几 点 因素 。 
布局 是 否 一 致 ， 如 所 有 窗口 按钮 的 位 置 和 对 齐 方式 要 一 致 

se 标签 和 讯息 的 措辞 是 否 一 致 ， 如 在 提示 、 菜 单 和 帮助 中 产生 相同 的 术语 ; 

。 ”界面 外 观 是 否 一 致 ， 如 控件 的 大 小 、 颜 色 、 背 景 和 显示 信息 等 属性 要 一 致 ， 但 
一 些 需 要 艺术 处 理 或 有 特殊 要 求 的 地 方 除外 ; 

e。 操作 方法 是 否 一 致 ， 如 双击 其 中 的 项 ， 使 得 某 些 事件 发 生 ， 那么 双击 任何 其 他 

列表 框 中 的 项 ， 都 应 该 有 同样 的 事件 发 生 ; 

e 颜色 的 使 用 是 否 一 致 ， 颜 色 的 前 后 一 臻 会 使 整个 应 用 软件 有 同样 的 观感 ， 

e。 快捷 键 在 各 个 配置 项 上 语义 是 否 保持 一 致 。 


to 电 外 各 
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表 14-1 列 出 了 常用 的 快捷 键 及 其 功能 。 
表 14-1 常用 的 快捷 键 及 功能 


功能 | 快捷 刍 | 功 能 | 快捷 键 
删除 | catp | 相 贴 | cav 
寻找 Cul-W 
拷贝 Cl-X 
普 换 _ cuH |  _i 邱 | cm 
插入 Cui-N 
打开 Ctrl-S 

缺 省 按钮 确认 操作 Esc 
MS Windows 保留 键 

_ 下 一 窗口 ChlTab | 任务 列表 | culEsc 

关闭 窗口 Cm-F4 | 结束 应 用 | AltF4 

下 一 应 用 | AltTab |  _ 上 下 文 相 关 和 和 助 | _ Shift-Fl 

4， 界面 定制 性 测试 


对 于 适用 于 多 层次 用 户 的 软件 ， 由 于 用 户 熟 练 程度 外行 、 初 学 、 熟 练 ) 不 同 、 使 
用 频 度 不 同和 不 同 角 色 ， 需 要 不 同 的 操作 方式 或 用 户 界面 。 如 财务 软件 中 财务 总 监 的 界 
面 应 提供 大 最 查询 功能 和 更 多 使 用 鼠标 的 拱 作 ， 而 会 计 、 出 纳 的 界面 应 提供 更 多 的 键盘 
快捷 方式 和 以 最 少 的 步 又 完成 日 常任 证 制作 审核 ,因此 需要 对 界面 的 可 定制 性 进行 测试 ， 
测试 中 可 参考 以 下 几 项 测试 内 容 。 
° 界面 元 素 的 可 定制 性 。 可 以 允许 用 户 定义 工具 栏 、 状 态 栏 是 否 显 示 ， 工 具 栏 
显示 在 界面 上 的 位 置 ， 如 上 方 、 下 方 或 悬浮 等 ， 一 些 软件 还 可 以 定义 菜单 的 
位 置 。 随 着 Windows XP 的 出 现 ， 界 面 风 格 的 可 定制 也 为 软件 个 性 化 提供 了 
新 的 特性 。 
。 工具 栏 的 可 定制 性 。 工 具 栏 为 用 户 使 用 常用 的 功能 提供 了 方便 ， 但 不 同 用 户 对 
“常用 ”的 理解 是 不 同 的 ， 因 此 ， 应 当 允 许 用 户 自 定 义工 具 栏 ， 包 括 建立 新 的 工 
具 栏 ， 选 择 要 显示 的 工具 栏 ， 定 义工 具 栏 上 的 按钮 ， 制 定 为 工具 按钮 定义 所 链 
接 的 功能 等 。 | 
e 统计 检索 的 可 定制 性 。 检 索 和 统计 是 用 户 向 系统 索取 数据 最 经 常用 到 的 功能 ， 
检索 条 件 是 否 灵活 、 分 类 统计 是 否 合理 、 是 否 允 许 用 户 定义 检索 条 件 和 统计 项 ， 
需要 测试 人 员 在 充分 了 解 用 户 需 求 和 使 用 习惯 的 基础 上 ， 制 定 大 重 案例 ， 通 过 
实际 操作 来 体会 。 
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。 报表 的 可 定制 性 。 各 种 各 样 的 报表 是 软件 对 用 户 输出 的 重要 方式 ， 报 表 表 头 包 
括 的 项 目 、 表 格 的 行 高 列 宽 、 表 中 数据 的 单位 和 显示 格式 超 长 超 宽 表 的 分 页 方 
式 等 如 果 能 够 允许 用 户 自 定义 , 则 可 以 使 软件 生成 的 报表 适用 于 更 广泛 的 范围 ， 
减少 用 户 二 次 处 理 表 格 的 工作 量 ， 极 大 地 方便 用 户 的 使 用 。 


14.4.2 ”界面 元 素 测试 


1. 窗口 测试 

在 Windows 平台 上 运行 的 应 用 软件 ， 窗口 是 软件 界面 的 基础 |， 正如 操作 系统 的 名 字 。 
窗口 是 显示 设备 中 的 一 个 区 域 ， 用 于 观看 对 象 、 对 象 相关 信息 以 及 应 用 与 对 象 的 动作 
进行 交互 。 窗 口 有 标题 栏 可 以 进行 打开 、 关 闭 、 创 建 、 缩 放 、 移 动 、 删 除 、 重 登 等 
操作 。 

现在 让 我 们 了 解 一 下 窗口 的 基本 组 成 部 分 ， 从 外 观 上 讲 ， 一 般 窗 口 是 由 标题 、 边 框 、 
菜单 、 工 作 区 、 滚 动 条 等 组 成 〈 如 图 14-1 所 示 )。 虽 然 软件 产品 的 窗口 各 种 各 样 ， 令 人 
眼花 统 乱 ， 人 

人 do ee 
和 标题 区 


菜单 区 


图 标 区 


用 户 工 
作 区 


到 1 > 滚动 区 
浊 
人 


i Ce 了 A En 修订 Pree 


大 小 区 
退出 区 弹出 式 窗口 


14-1 ”Microsoft Word 窗口 的 配置 部 件 示 意图 
下 面 是 一 些 窗口 测试 用 例 设计 的 参考 例子 。 
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窗口 控件 的 大 小 、 对 齐 方 向 、 颜 色 、 背 最 等 属性 的 设置 值 是 否 和 程序 设计 规约 
相 一 致 。 

是 否 显示 相关 的 下 拉 菜 单 、 工 具 条 、 滚 动 条 、 对 话 框 、 按 钮 、 图 标 和 其 他 控制 ， 
既 能 正确 显示 又 能 调用 。 

若 窗 口 无 法 显示 ， 所 有 内 容 是 否 能 够 改变 大 小 、 移 动 和 滚动 。 

活动 窗口 是 否 能 够 被 反 显 加 亮 。 

窗口 是 否 正确 地 关闭 。 

多 个 窗口 县 加 时 秘 口 的 名 称 是 否 显 示 正 确 。 

窗口 的 数据 是 否 能 够 利用 鼠标 、 功 能 键 、 方 向 箭头 和 键盘 操作 。 

当 窗 口 被 覆盖 并 重新 调用 后 ， 窗 口 是 否 能 够 正确 再 生 。 

如 果 使 用 多 任务 ， 是 否 所 有 的 窗口 被 实时 更 新 。 

窗口 是 否 支 持 最 小 化 和 最 大 化 或 放大 。- 

窗口 上 的 控件 是 否 随 着 窗 体 的 缩放 而 缩放 。 

父 窗 体 支 持 缩 放 时 ， 子 窗 体 是 否 也 缩放 。 

在 一 个 窗口 中 按 Tab 键 ,移动 聚焦 是 否 按 顺序 移动 。Tab 的 顺序 应 是 先 从 上 至 下 ， 
再 从 左 至 右 。 

子 窗口 位 置 是 否 在 父 窗 口 的 左上 角 或 正中 ， 由 于 屏幕 对 角 线 相交 的 位 置 是 用 户 


” 直 视 的 地 方 ， 正 上 方 1/4 处 为 易 吸引 用 户 注意 力 的 位 置 ， 在 放置 窗口 时 要 注意 


利用 这 两 个 位 置 。 父 窗口 或 主 窗 口 的 中 心 位 置 应 该 在 对 角 线 焦点 附近 。 

当 多 个 子 窗口 弹出 时 是 否 依 次 向 右 下 方 偏 移 ， 以 显示 出 窗口 标题 为 宜 ， 如 图 
14-2 所 示 为 Microsoft PowerPoint 窗口 重合 示意 图 .。 通常 重 登 的 窗口 具有 固定 大 
小 和 位 置 ， 新 打开 的 窗口 要 堆 登 在 最 近 打 开 的 窗口 上 上， 这些 重 登 的 窗口 都 带 有 
突出 的 标签 以 便 选 择 。 

重要 的 命令 按钮 与 使 用 较 频 繁 的 按钮 是 否 放 在 了 界面 上 醒目 的 位 置 。 因 错误 使 
用 而 引起 界面 退出 或 关闭 的 按钮 ， 放 在 容易 点 击 的 位 置 。 横 排 开 头 或 结尾 ， 与 
竖 排 结尾 为 容易 点 击 的 位 置 。 

与 正在 进行 的 操作 无 关 的 技 钮 应 该 加 以 屏蔽 (Windows 中 用 灰色 显示 ， 没 法 使 
用 该 技 钮 )。 

技 钮 的 大 小 要 与 界面 的 大 小 和 空间 是 否 协调 。 避 免 在 空旷 的 界面 上 放置 很 大 的 
按钮 。 放 置 完 控件 后 界面 不 应 有 很 大 的 空缺 位 置 。 

多 窗口 的 切换 响应 时 间 是 否 过 长 。 如 果 切 换 时 间 过 长 就 会 使 用 户 出 现 意外 的 焦 
踩 情绪 ， 而 响应 时 间 过 短 有 时 会 造成 用 户 操 作 节 奏 加 快 ， 从 而 导致 用 户 操作 
错误 。 
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图 14-2 ”Microsof PowerPoint 窗口 重 登 示意 图 


2. 菜单 测试 

菜单 对 我 们 来 讲 是 很 熟悉 的 , 它 是 应 用 程序 命令 项 列表 , 菜单 位 置 按照 功能 来 组 织 。 
菜单 按 图 形 方式 可 以 产生 丰富 多 彩 的 菜单 形式 ， 例 如 条 形 菜 单 、 水 平和 垂直 的 弹出 式 菜 
单 、 下 拉 菜 单 、T 形 菜 单 等 。 无 论 采 用 哪 种 方式 ， 仅 仅 是 菜单 显示 方式 不 同 罢 了 ， 菜 单 
的 测试 方法 还 是 基本 一 样 的 。 

菜单 是 否 易 用 主要 体现 在 它 能 否 提供 线索 帮助 用 户 识别 ， 而 不 用 强迫 用 户 去 记忆 。 
如 果 用 户 只 通过 简单 的 培训 或 偶尔 的 使 用 ， 就 可 以 接受 该 系统 ， 那么 简单 和 有 规则 的 菜 
单 尤 其 有 效 。 

作为 测试 工程 师 ， 设 计 菜 单 界面 测试 用 例 主 要 应 从 以 下 几 点 考虑 。 

。 是否 符合 筑 求 ; 

。 ”菜单 项 的 措辞 是 否 准确 ; 

。 菜单 项 的 顺序 是 否 合理 ; 

。 图 形 的 布局 是 否 一 致 。 

菜单 界面 测试 用 例 设计 范例 如 表 14-2 所 示 。 
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串 14-2 菜单 界面 测试 用 例 
z 测试 案例 及 说 明 
菜单 功能 是 否 正 确 执 行 
| 下 拉 菜 单 是 否 根据 菜单 选项 的 含义 进行 分 组 
| 菜单 是 否 有 快捷 命令 方式 
文本 字体 、 大 小 和 格式 是 否 正 确 


总 
册 
3 


试 结果 | 缺 聊 原 因 


菜单 功能 是 否 随 当前 的 窗口 操作 加 充 或 变 灰 。. 
| 菜单 功能 的 名 字 是 否 具有 自 解 释 性 

| 菜单 项 是 否 有 帮助 

| 右键 快捷 菜单 是 否 采用 与 菜单 相同 的 准则 

是 否 可 以 通过 限 标 访问 所 有 的 菜单 功能 


elo ll nib | {hy | | 


是 否 适 当地 列 出 了 所 有 的 菜单 功能 和 下 拉 式 子 功能 
1 ”| 下 拉 式 操作 能 否 正常 工作 
是 否 根据 系统 功能 进行 合理 分 类 ， 将 选项 进行 分 组 
菜单 深度 是 否 控制 在 三 层 以 内 
菜单 标题 是 否 简明 、 有 意义 
是 否 依据 使 用 频 许 排列 


一 


16 “| 是 否 依 据 逻 辑 顺 序 排列 


| 是 否 依 据 使 用 顺序 排列 
各 级 菜单 显示 格式 和 操作 方式 是 省 一 致 


这 个 测试 用 例 可 以 适用 不 同 的 菜单 ， 表 14-2 是 针对 菜单 界面 测试 所 设计 的 一 个 测 
试用 例 说 明 。 这 个 测试 用 例 通过 测试 人 员 测试 ， 会 找 出 更 多 的 Bugs。 

3. 图 标 测试 

图 标 实 际 上 属于 菜单 交互 方式 ， 只 是 它 使 用 图 标 来 代表 文本 菜单 的 菜单 项 。 使 用 图 
标 可 以 形象 、 通 真 地 反映 菜单 的 功能 ， 从 而 使 理解 、 学 习 和 操作 变 得 更 加 易 用 。 

由 于 图 标 是 表示 实体 信息 的 简洁 、 抽 象 的 符号 ， 所 以 在 日 常生 活 中 被 广泛 地 使 用 。 
图 标 不 仅仅 作为 表示 实体 的 符号 ， 还 可 以 作为 可 视 按钮 项 ， 当 被 选中 激活 时 ， 可 以 完成 
指定 的 功能 。 

图 标 测试 比较 主观 ， 与 测试 人 员 的 可 好 有 关 。 比 如 ， 图 标 基调 颜色 刺眼 ， 用 户 登 入 
界面 比较 难于 找到 ， 图 标 比较 抽象 ， 图 标 范 围 太 广 等 都 局 于 用 户 界 面 测试 中 的 缺陷 。 

形象 的 图 标 给 人 很 大 的 帮助 ， 使 人 容易 理解 其 内 涵 。 那 么 图 标 测试 用 例 要 考虑 的 重 
点 有 哪些 呢 ， 以 下 所 提供 的 几 点 可 以 作为 参考 。 

。 图 标 是 否 符合 常规 的 表达 习惯 。 

。 不 同 的 目标 是 否 采 用 不 同 的 图 标 。 


ri 
人 
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图 标 是 否 具有 消 晰 的 轮廓 ， 轮廓 清晰 的 图 标 可 保证 图 像 在 不 同 背景 色 上 都 具有 
较 好 效果 。 

注意 图 标的 尺寸 ， 建 议 图 标的 尺寸 小 一 些 较 好 ， 如 工具 栏 图 标 非常 小 ， 您 使 用 
简单 的 图 像 ， 以 直观 方式 显示 图 像 即 可 清晰 地 表达 图 标的 含义 ， 而 不 必 使 用 其 
他 的 复杂 方式 。Windows XP 图 标 有 四 种 尺寸 ， 建 议 使 用 以 下 四 种 尺寸 ，48x48 
像素 ，32x32 像素 ，24x24 像素 以 及 16x16 像素 。 

建议 图 标的 外 形 与 实际 功能 相似 ， 应 尽量 避免 抽象 。 这 样 的 图 标 可 以 使 用 户 很 
轻松 、 容 易 地 认识 此 图 标 。 

在 图 标 上 是 否 加 有 标注 。 

限 标 测试 


局 标 问题 经 党 被 人 们 忽略 ， 但 我 们 无 时 无 刻 者 不 能 离开 它 。 用 户 会 把 鼠标 移 进 、 移 
出 窗口 ， 或 当 光标 在 窗口 中 ， 用 户 按 下 、 释 放 鼠 标 键 ， 鼠 标 是 否 准确 、 灵 活 ， 对 一 个 测 
试 人 员 来 说 必 将 提 到 日 程 上 来 。 

以 下 所 提供 的 几 点 可 以 作为 鼠标 测试 的 参考 。 


S. 


在 整个 交互 式 语 境 中 ， 是 否 可 以 识别 鼠标 操作 ; 
如 果 要 求 多 次 点 击 鼠 标 ， 是 否 能 够 在 语 境 中 正确 识别 ; 
如 果 鼠 标 有 多 个 按钮 ， 是 否 能 够 在 语 境 中 正确 识别 ; 
光标 、 处 理 指示 器 和 识别 指针 是 否 随 操作 恰当 地 改变 ; 
点 击 选中 而 不 是 滑动 停留 选中 ; 

支持 滑轮 (鼠标 中 间 的 滚动 轮 》 上 下 翻动 操作 : 

对 于 相同 种 类 的 元 素 采 用 相同 的 操作 激活 ; 

用 沙漏 表示 系统 念 ， 用 手 型 表示 可 以 点 击 ; 

鼠标 无 规则 点 击 时 是 否 会 产生 无 法 预料 的 结果 ; 

单 击 鼠 标 右键 是 否 弹出 菜单 ， 取 消 右键 是 否 隐藏 弹出 的 菜单 。 
文字 测试 


文字 在 视觉 上 向 用 户 传达 作者 的 意图 和 各 种 信息 ， 如 果 文 字 的 组 合 巧妙 ， 在 视觉 传 
达 的 过 程 中 能 够 给 人 以 美的 感受 ， 从 而 获得 良好 的 心理 反应 。 反 之 ， 则 使 人 看 后 心里 不 
愉快 ， 视 觉 上 难以 产生 美感 ， 甚 至 会 让 用 户 拒 而 不 看 ， 这 样 势 必 难 以 传达 出 作者 想 表现 
的 意图 和 构想 。 

要 达到 这 一 目的 必须 考虑 文字 的 整体 诉求 效果 ， 给 人 以 清晰 的 视觉 印象 。 因 此 ， 在 
测试 过 程 中 ， 测 试 人 员 应 该 注意 文字 是 否 繁杂 零乱 ， 使 人 易 认 、 易 懂 ， 测 试 文字 主要 依 
靠 软件 设计 标准 ， 观 察 文 字 是 否 有 效 地 传达 作者 的 意图 ， 表 达 设 计 的 主题 和 构想 意念 。 

文字 测试 是 测试 软件 中 是 否 拼 写 正确 ， 是 否 易 愉 ， 不 存在 二 义 性 ， 没 有 语法 错误 ; 
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文字 与 内 容 是 否 有 出 入 等 等 , 包括 图 片 文字 。 比 如 ,“ 请 输入 正确 的 证 件 号 码 ” 中 何谓 正 
确 的 证 件 号 码 。 证 件 可 以 为 身份 证 、 驾 驶 证 ， 也 可 为 军官 证 ， 如 果 改 为 “请 输入 正确 的 
身份 证 号 码 ” 用户 就 比较 容易 理解 了 。 


14.4.3 ”和 鹤 面 测试 典型 用 例 


现在 介绍 一 个 菜单 界面 测试 的 模拟 , 软件 人 员 开 发 了 第 一 版 的 软件 , 如 图 14-3 所 示 
为 菜单 测试 用 例 ， 供 测试 人 员 测 试 ， 此 时 测试 人 员 将 根据 上 面 章节 中 提 到 的 测试 用 例 来 
找 出 软件 的 问题 。 


图 14-3 ”菜单 测试 用 例 


菜单 界面 测试 用 例 设计 范例 如 表 14-2 所 示 。 
这 个 测试 用 例 可 以 适用 不 同 的 菜单 , 如 表 14-3 所 示 是 针对 菜单 界面 测试 所 设计 的 一 
个 例子 。 这 个 测试 用 例 通过 测试 人 员 测 试 ， 会 找 出 更 多 的 缺陷 。 


表 14-3 菜单 界面 用 例 测试 用 例 


_ 编 寻 | 测试 案例 及 说 明 测试 结果 缺陷 原因 
1 “| 菜单 功能 是 否 正确 执行 


2 过 
要 a 、、 | 为 菜单 提供 更 多 的 选择 途径 ， 应 为 菜单 
3 ”| 对 菜单 是 否 有 快捷 命令 方式 选择 提供 快 拓 键 


4 “| 文本 字体 、 大 小 和 格式 是 否 正确 
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续 表 
编号 测试 案例 及 说 阴 
菜单 功能 是 否 随 当前 的 窗口 操作 加 
充 或 变 灰 z 
菜单 功能 的 名 字 是 否 具有 自 解释 性 
菜单 项 是 否 有 镍 助 
右键 快捷 菜单 是 否 采用 与 菜单 相同 
的 准则 
是 否 可 以 通过 鼠标 访问 所 有 的 菜单 


测试 结果 缺陷 原因 


和 bd 


SG 
六 | 


直 
刘 | 这 | 沿 | 六 
| | 


通过 


~- 


不 通过 ”| 单 击 右键 没有 提供 快捷 菜单 


通过 
是 否 适当 地 列 出 了 所 有 的 菜单 功能 
和 下 拉 式 子 功 能 
11 | 下 拉 式 操作 能 正常 工作 吗 
是 否 根据 系统 功能 进行 合理 分 类 , 将 < 通 ; 不 应 把 插入 功能 键 放 入 编辑 菜单 里 , 应 
选项 进行 分 组 把 插入 单 做 主 菜 单 
13 | 菜单 深度 是 否 控制 在 三 层 以 内 ` 通 过 ”| 建议 编辑 菜单 应 控制 到 三 层 以 内 
菜单 标题 是 否 简 明 、 有 意义 , 
15 | 是 否 依据 使 用 频 度 排列 
16 | 是否 依据 逻辑 顺序 排列 
17 | 是 否 依据 使 用 顺序 排列 
各 级 菜单 显示 格式 和 操作 方式 是 否 


ba a 


rs 
入 | 入 


六 | 澡 
沪 


通过 


| 


14.5 ”辅助 系统 测试 


辅助 系统 是 指 为 了 帮助 和 引导 用 户 使 用 软件 而 存在 于 软件 内 的 辅助 性 系统 。 辅 助 系 
统 是 否 完整 好 用 是 软件 易 用 性 的 重要 体现 ， 一 般 来 说 辅助 系统 包括 帮助 、 向 导 和 信息 提 
示 等 。 / 


14.5.1 帮助 测试 


软件 应 该 提供 所 有 规格 说 明和 各 种 操作 命令 用 法 的 帮助 系统 ， 使 用 户 在 使 用 中 过 到 
困难 时 可 以 自己 寻求 解决 方法 。 

很 多 用 户 在 使 用 软件 时 常常 会 发 现 帮助 系统 没有 及 时 更 新 ， 可 能 软件 版 本 已 经 更 改 
过 数 次 ， 但 配套 的 软件 帮助 说 明 并 没有 及 时 更 新 。 这 是 开发 人 员 和 测试 人 员 容 易 忽略 的 
问题 。 可 能 开发 人 员 和 测试 人 员 对 这 套 系统 很 熟悉 ， 并 不 需要 更 多 的 帮助 ， 但 用 户 却 不 
是 这 样 ， 当 过 到 操作 问题 或 术语 问题 时 ， 首 先 想到 的 就 是 从 软件 系统 得 到 帮助 。 
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对 儿 助 系统 的 测试 一 般 从 以 下 几 方 面 入 手 。 

。 前 后 一 致 性 。 

。 内 容 完 整 性 。 

s 可 理解 性 。 

。 方便 性 。 

如 表 14-4 所 示 是 一 组 帮助 系统 测试 用 例 ， 可 以 作为 参考 。 


家 14-4 帮助 系统 测试 用 例 
”编号 测试 案例 及 说 明 | 测试 结果 | 缺陷 原因 
1 “| 系统 是 否 提 供 Fl 及 时 帮助 功能 
在 界面 上 调用 帮助 时 应 该 能 够 及 时 定位 到 与 该 操作 相对 的 帮助 
| 位 置 


ie 
3 | 对 功能 采用 及 时 帮助 是 否 能 准确 定位 到 帮助 系统 的 位 置 ei 
4 _| 利用 亲 助 案 引 是 否 能 定位 到 帮助 主题 和 内 容 | | 
5 | 是 天 具有 打 萝 能 || 
6 | 目录 是 否 划分 有 层次 | 
7 人 解决 问题 [| 
8 = 
9 l= 


| 帮助 内 容 描述 得 是 否 准确 ， 一 定 详细 到 可 以 解决 问题 
在 系统 不 同 的 位 置 激活 帮助 内 容 与 当前 操作 内 容 是 否 相关 联 
微 帮助 提供 ， 由 状态 栏 提供 或 在 控件 上 有 提示 文本 


14.5.2 ”向 导 测 试 


提 到 软件 的 易 用 性 就 不 得 不 提 软 件 的 向 导 ， 对 于 应 用 中 某 些 部 分 的 处 理 流程 是 固定 
的 ， 用 户 必须 按照 指定 的 顺序 输入 关键 字 作为 信息 ， 为 了 使 用 户 得 到 必要 的 引导 使 用 向 
导 ， 使 用 户 可 以 直接 去 找 自己 要 去 的 地 方 ， 而 不 必 像 走 迷 宫 一 样 乱 走 一 通 。 另 外 ， 新 用 
户 在 系统 中 可 能 会 迷失 方向 ， 系 统 的 向 导 可 以 引导 用 户 怎样 操作 。 

在 测试 过 程 中 需要 验证 向 导 是 否 正确 ， 确 认 向 导 的 连接 是 否 确实 存在 ， 是 否 每 一 步 
都 有 向 导 说 明 ， 向 导 是 否 一 致 ， 向 导 是 否 直观 。 专 后 要 注意 一 点 是 向 导 必须 用 在 固定 处 
理 流程 中 ， 并 且 处 理 流程 应 该 不 少 于 3 个 处 理 步骤 。 


14.5.3 ”信息 提示 
信息 提示 是 计算 机 用 信息 的 形式 对 用 户 的 某 些 操作 所 做 的 反应 。 在 一 些 操作 中 ， 如 
果 系 统 没 有 反馈 显示 信息 ， 用 户 就 无 法 判断 他 的 操作 是 否 为 计算 机 所 接受 ， 是 否 正确 ， 


以 及 操作 的 效果 是 什么 。 信 息 提 示 可 采用 多 种 方式 : 文本 、 图 形 和 声音 等 。 
即使 系统 具有 信息 提示 ， 但 如 果 显 示 信息 不 完整 、 不 明确 或 不 够 智能 ， 也 无 法 真正 
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满足 用 户 的 需求 。 如 何 评测 向 用 户 提供 的 视觉 和 听觉 上 的 反 饿 ， 确 保 在 用 户 和 界面 之 间 
建立 双向 道 信 是 十 分 重要 的 。 以 下 准则 集中 体现 了 如 何 测试 信息 提示 。 
。 提示 信息 是 否 用 具有 可 以 理解 性 的 语言 进行 描述 。 提 示 信 息 应 不 依赖 于 外 界 的 
信息 源 就 能 一 目 了 然 。 出 错 信息 应 该 有 明确 的 意义 ， 并 伴随 听觉 和 视觉 效果 ， 
如 特殊 的 图 像 、 颜 色 或 信息 闪烁 。 这 类 信息 除 报 钳 和 警告 之 外 ， 还 应 癌 用 户 提 
供 如 何 从 错误 中 恢复 的 建设 性 意见 ， 和 指明 错误 的 潜在 危害 。 
。 对 重要 的 、 有 破坏 性 的 命令 是 否 提供 确认 措施 ， 以 避免 破坏 性 的 操作 。 例 如 ， 
用 户 请 求 删除 文件 ， 或 表示 要 路 盖 某 些 信息 ， 或 要 求 终止 一 个 程序 。: 
。 信息 是 否 具有 判断 色彩 ， 注 意 ， 任 何 情况 下 信息 提示 只 能 是 引导 和 帮助 用 户 ， 
而 不 是 指 资 用 户 。 
。 信息 提示 是 否 具 有 统一 的 标记 、 标 准 的 缩写 和 隐 含 的 颜色 。 由 文惠 人 人 
错 单词 ， 风 格 不 一 等 经 常会 影 啊 用 户 的 理解 。 
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15.1 ”软件 可 靠 性 与 可 靠 性 测试 


15.1.1 软件 可 靠 性 概述 


在 现代 军事 和 商用 系统 中 ， 以 软件 为 核心 的 产品 得 到 了 广泛 的 应 用 。 随 着 系统 中 软 
件 成 分 的 不 断 增 加 ， 使 得 系统 对 软件 的 依赖 性 越 来 越 强 ， 对 软件 可 靠 性 的 要 求 也 越 来 越 
高 。 目 前 硬件 可 靠 性 测试 技术 和 评估 手段 日 趋 成 熟 ， 硬 件 可 僻 性 评估 模型 经 过 长 期 的 实 
践 积累 ， 已 经 得 到 了 业界 的 认可 。 但 是 由 于 软件 和 硬件 存在 着 巨大 的 差异 性 ， 硬 件 的 可 
靠 性 测试 和 评估 技术 ， 并 不 能 完全 应 用 于 对 软件 的 可 靠 性 的 测试 和 评估 中 。 因 此 软件 可 
舍 性 技术 研究 成 为 当今 可 靠 性 工程 研究 领域 中 一 个 新 的 领域 。 

国外 从 20 世纪 60 年 代 后 期 开始 加 强 对 软件 可 靠 性 的 研究 工作 ， 经 过 20 年 左右 的 
研究 , 推出 了 各 种 可 靠 性 模型 和 预测 方法 , 于 1990 年 前 后 形成 了 较为 系统 的 软件 可 千 性 
工程 体系 。 同 时 ， 从 20 世纪 80 年 代 中 期 开始 ， 西 方 各 主要 工业 强国 均 确立 了 专门 的 研 
究 计划 和 课题 ， 如 英国 的 AIVEY (软件 可 靠 性 和 度 明 标准) 计划 、 欧 洲 的 ESPRIT 欧 
洲 信息 技术 研究 与 发 展 战略 ) 计划 、SPMMS (软件 生产 和 维护 管理 保障 ) 课题 、Eureka 
( 尤 里 卡 ) 计划 等 。 每 年 ， 都 有 大 重 的 人 力 物 力 投 入 到 软件 可 你 性 研究 项 目 中 ， 并 取得 了 
一 定 的 成 果 。 

国内 对 于 软件 可 对 性 的 研究 工作 起 步 较 晚 ， 在 软件 可 靠 性 量化 理论 、 度 量 标准 〈 指 
标 体系 )、 建 模 技 术 、 设 计 方 法 、 测 试 技术 等 方面 与 国外 差距 较 大 。 

目前 ， 软 件 可 靠 性 管理 方面 还 没有 建立 起 具有 权威 性 的 管理 体系 和 规范 。 比 如 ， 如 
何 描述 软件 可 和 允 性， 如 何 测 试 、 如 何 评估 、 如 何 设计 、 如 何 提 高 等 。 由 于 目前 国内 外 对 
于 软件 可 靠 性 模型 的 研究 多 集中 在 软件 的 开发 阶段 ， 而 很 少 有 涉及 测试 与 评估 阶段 的 可 
靠 性 模型 ， 即 使 现 有 的 模型 ， 也 多 来 源 于 硬件 可 靠 性 评估 ， 与 软件 可 委 性 评估 存在 较 大 的 
差距 , 所 以 从 事 软 件 可 靠 性 测试 与 评估 研究 是 一 个 有 理论 价值 和 实际 意义 工作 。 总 的 来 说 ， 
软件 可 你 性 工程 研究 虽然 得 到 了 普 所 的 重视 ， 但 仍然 不 是 很 成 熟 ， 还 处 于 发 展 确立 阶段 。 


15.1.2 软件 可 靠 性 的 定义 
可 靠 性 (reliability) 是 指 产品 在 规定 的 条 件 下 和 规定 的 时 间 内 完成 规定 功能 的 能 力 。 
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按照 产品 可 靠 性 的 形成 ， 可 绍 性 可 分 为 固有 可 靠 性 和 使 用 可 靠 性 。 固 有 可 靠 性 是 通 
过 设计 、 制 造 赋予 产品 的 可 靠 性 ， 使 用 可 靠 性 既 受 设计 、 制 造 的 影响 ， 又 受 使 用 条 件 的 
影响 。 一 般 使 用 可 靠 性 总 低 于 固有 可 销 性 。 

软件 与 硬件 有 很 多 不 同 点 ， 但 从 可 靠 性 的 角度 来 看 ， 它 们 主要 有 4 个 不 同 点 : 

® 复杂 性 。 

软件 内 部 逻辑 高 度 复 杂 ， 硬 件 则 相对 简单 ， 这 就 在 很 大 程度 上 决定 了 设计 错误 是 导 
致 软件 失效 的 主要 原因 ， 而 导致 硬件 失效 的 可 能 性 则 很 小 。 

e。 ”物理 退化 。 

软件 不 存在 物理 退化 现象 ， 硬 件 失效 则 主要 由 于 物理 退化 所 致 。 这 就 决定 了 软件 正 
确 性 与 软件 可 靠 性 密切 相关 ， 一 个 正确 的 软件 任何 时 刻 均 可 靠 。 然 而 ， 一 个 正确 的 硬件 
元 器 件 或 系统 ， 则 可 能 在 某 个 时 刻 失 效 。 

e 惟一 性 。 

软件 是 惟一 的 ， 软 件 拷贝 不 改变 软件 本 身 ， 而 任何 两 个 硬件 不 可 能 绝对 相同 。 这 就 
是 为 什么 概率 方法 在 硬件 可 双 性 领域 取得 巨大 成 功 ， 而 在 软件 可 舍 性 领域 不 令 人 满意 的 
原因 。 

e 版 本 更 新 较 快 。 

硬件 通常 更 新 周期 较 慢 ， 硬 件 产品 一 旦 定型 一 般 就 不 会 更 改 ， 而 软件 产品 通常 受 需 
求 的 变更 ， 软 件 缺 陷 的 修复 ， 井 成 软件 版 本 更 新 较 快 ， 这 也 给 软件 可 靠 性 评估 带 来 较 大 
难度 。 

尽管 这 样 ， 软 件 仍然 是 一 种 具有 特殊 属性 的 产品 ， 因 此 ， 我 们 也 可 以 按照 上 面 的 产 
品 可 靠 性 定义 来 框架 性 地 找 述 软件 的 可 靛 性 。 

1983 美国 IEEE 计算 机 学 会 对 “软件 可 靠 性 ”做 出 了 更 为 明确 的 定义 ， 随 后 ， 此 定 
义 经 美国 标准 化 研究 所 批准 为 美国 的 国家 标准 。 在 1989 年 我 国 国家 标准 GB/T-11457 也 
采用 了 这 个 定义 。 这 个 定义 就 是 : 

。 ”在 规定 的 条 件 下 ， 在 规定 的 时 间 内 ， 软 件 不 引起 系统 失效 的 概率 ， 该 概率 是 系 

统 输入 和 系统 使 用 的 函数 ， 也 是 软件 中 存在 的 缺陷 的 函数 ， 系 统 输入 将 确定 是 
否 会 过 到 已 存在 的 缺陷 〈 如 果 缺 陷 存 在 的 话 )。 

。 在 规定 的 时 间 周 期 内 ， 在 所 述 条 件 下 程序 执行 所 要 求 的 功能 的 能 力 。 

显而易见 ， 美 国 IEEE 计算 机 学 会 关于 “软件 可 靠 性 ”的 定义 仍然 沿用 了 “产品 可 
靠 性 ”的 定义 ， 但 有 了 更 具体 的 定位 和 更 深入 的 描述 。 

我 们 来 分 析 一 下 软件 可 靠 性 的 框架 性 定义 。 

。 规定 的 时 间 。 

软件 可 你 性 只 是 体现 在 其 运行 阶段 ， 所 以 将 “运行 时 间 ” 作 为 “规定 的 时 间 ” 的 度 
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熏 。“ 运 行 时 间 ” 包 插 软 件 系 统 运行 后 工作 与 挂 起 (开启 但 空闲 ) 的 累计 时 间 。 由 于 软件 
运行 的 环境 与 程序 路 径 选 取 的 随机 性 ， 软 件 的 失效 为 随机 事件 ， 所 以 运行 时 间 属 于 随机 
变量 。 

。 ”规定 的 条 件 。 

规定 的 条 件 主 要 指 软件 的 运行 环境 。 它 涉及 软件 系统 运行 时 所 需 的 各 种 支持 要 素 ， 
如 支持 硬件 平台 (服务 器 、 台 式 机 、 网 络 平台 等 )、 操 作 系统 、 数 据 库 管理 系统 、 中 间 件 
以 及 其 他 支持 软件 、 输 入 数据 格式 和 范围 以 及 操作 规程 等 。 不 同 的 环境 条 件 下 软件 的 可 
靠 性 是 不 同 的 ， 具 体 地 说 ， 规 定 的 环境 条 件 主要 是 描述 软件 系统 运行 时 计算 机 的 配置 情 
况 以 及 对 输入 数据 的 要 求 , 并 假定 其 他 一 切 因 聚 都 是 理想 的 。 有 了 明确 规定 的 环境 条 件 ， 
还 可 以 有 效 地 判断 软件 失效 的 贡 任 在 用 己方 还 是 开发 方 。 

。 ”所 要 求 的 功能 。 

软件 可 靠 性 还 与 规定 的 任务 和 功能 有 关 。 由 于 要 完成 的 任务 不 同 ， 软 件 的 运行 情况 
会 有 所 区 别 , 则 调用 的 子 模块 就 不 同 (包括 程序 选择 路 径 不 同 ), 其 可 人 靠 性 也 就 可 能 不 同 。 
所 以 要 准确 度量 软件 系统 的 可 靠 性 ， 必 须 首 先 明确 它 的 任务 和 功能 。 

。 “软件 可 靠 性 ”定义 具有 以 下 特点 。 

(D 用 内 在 的 “缺陷 ”和 外 在 的 “失效 ”的 关系 来 描述 可 靠 性 ， 更 能 深刻 地 体现 软 
件 的 本 质 特点 。 

包 定义 使 人 们 对 软件 可 和 僻 性 进行 量化 评估 成 为 可 能 。 对 于 软件 的 可 靠 性 这 样 一 个 
质量 特性 ， 很 难 用 一 个 明确 直观 的 数值 去 体现 。 而 依据 这 个 定义 ， 我 们 有 可 能 通过 分 析 
影响 可 靠 性 的 因素 ， 用 函数 的 形式 ， 近 照 不 同 的 目的 建立 各 种 数学 模型 去 分 析 软 件 可 
靠 性 。 

@ 用 概率 的 方法 去 描述 可 靠 性 是 比较 科学 的 。 前 面 讲 到 ， 软 件 失 效 是 随机 的 外 部 
表现 ， 完 全 是 一 个 随机 事件 ， 而 软件 缺陷 是 软件 固有 的 没有 损耗 的 内 在 特质 。 定 义 用 规 
定时 间 内 一 定 的 操作 不 出 现 软件 失效 的 概率 ， 也 就 是 输入 未 磁 到 软件 缺陷 的 概率 ， 来 摘 
述 可 对 性 ， 这 种 方法 就 是 用 概率 来 描述 纯粹 的 随机 事件 ， 是 比较 合理 的 ， 也 是 可 行 的 。 


15.1.3 软件 可 靠 性 的 定量 描述 


前 一 节 从 软件 可 靠 性 的 定义 我 们 可 以 看 到 ， 软 件 的 可 靠 性 可 以 菇 于 使 用 条 件 、 规 定 
时 间 、 系 统 输入 、 系 统 使 用 和 软件 缺陷 等 变 全 构建 的 数学 表达 式 。 下 面 我 们 从 可 靠 性 的 
定义 中 的 术语 “规定 时 间 ”、“ 失 效 概 率 ” 开 始 ， 探 讨 软件 可 靠 性 的 定量 描述 ， 并 相应 地 
引入 一 些 概念 。 

1， 规定 时间 

首先 对 于 “规定 时 间 ” 我 们 有 三 种 概念 ， 一 种 是 自然 时 间 ， 也 就 是 日 历时 间 ， 指 我 
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们 日 常 计时 用 的 年 、 月 、 周 、 日 等 自然 流逝 的 时 间 段 ， 一 种 是 运行 时 间 ， 指 软件 从 启动 
开始 , 到 运行 结束 的 时 间 段 ;最 后 一 种 是 执行 时 间 ， 和 Me 中 央 处 理 器 (CPU) 
执行 程序 指令 所 用 的 时 间 总 和 。 

例如 某 单位 有 一 套 供 会 计 人 员 使 用 的 财务 软件 ， 我 们 来 关注 一 整 天 的 时 间 ， 上 午 
9:00 上 班 开机 运行 ， 下 午 5:00 下 班 退 出 程序 。 在 这 里 ， 自 然 时 间 是 一 天 ， 也 就 是 24 小 
时 ,运行 时 间 是 8 个 小 时 ， 而 CPU 处 理 程序 的 执行 时 间 可 能 不 到 2 小时， 这 要 视 会 计 的 
业务 繁忙 状况 、 使 用 软件 的 频 度 和 软件 本 身 的 设计 而 定 。 

很 明显 ， 在 这 三 种 时 间 中 ， 我 们 度量 软件 的 可 靠 性 ， 使 用 执行 时 间 最 为 准确 ， 效 果 
也 最 好 。 如 果 运 行 的 软件 系统 处 于 一 种 相对 稳定 的 工作 状态 ， 我 们 可 以 根据 一 定 的 经 验 
值 ， 按 一 定 的 换算 比例 ， 对 这 三 种 时 间 进 行 折算 。 

2， 失 效 概率 

我 们 把 软件 从 运行 开始 ， 到 某 一 时 刻 1 为 止 ， 出 现 失 效 的 概率 看 作 关 于 软件 运行 
时 间 的 一 个 随机 函数 ， 用 F(D) 表 示 。 根 据 我 们 对 软件 可 靠 性 的 分 析 ， 函 数 FL 有 如 下 
特征 : 

se。  F(0)=0， 即 软件 运行 初始 时 刻 失 效 概率 为 0。 

e。 Fn 在 时 间 域 (0, two) 上 是 单调 递增 的 。 

e。 F(t+w)=1， 即 失效 概率 在 运行 时 间 不 断 增 长 时 趋向 于 1， 这 也 和 “任何 软件 都 

存在 缺陷 ”的 思想 相 吻 合 。 

为 了 简化 分 析 ， 我 们 把 F(D) 看 作 关 于 时 间 1 的 一 个 连续 函数 ， 并 且 可 导 。 

3 可 祭 度 

我 们 用 来 表示 可 靠 性 最 为 直接 的 方式 就 是 可 靠 度 ， 根 据 可 售 性 的 定义 ， 可 靠 度 就 是 
软件 系统 在 规定 的 条 件 下 ， 规 定 的 时 间 内 不 发 生 失效 的 概率 ， 如 果 用 F(t) 来 表示 到 1 时 
刻 止 ， 软 件 不 出 现 失效 的 概率 ， 则 可 团 度 的 公式 为 

R(t)=1-F() (15-1) 

同样 ， 我 们 知道 RC0)=1，R(+%)=0 

4。 失效 强度 

失效 强度 〈Failure Intensity) 的 物理 解释 就 是 单位 时 间 软 件 系 统 出 现 失 效 的 概率 。 
在 上 时 刻 到 ttAt 时 刻 之 间 软 件 系统 出 现 失效 的 平均 概率 为 (FUtHAD-FnD)NAI， 当 Ar 趋 于 很 
小 时 ， 就 表现 为 时刻 的 失效 强度 。 用 /0 表示 失效 强度 函数 ， 则 


f= 全 全 全 = (0) 52) 


5。 失 效率 
失效 率 (Failure Rate) 又 称 风险 冰 数 (Hazard Function)， 也 可 以 称 为 条 件 失 效 强度 ， 
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物理 解释 就 是 在 运行 至 此 软件 系统 未 出 现 失效 的 情况 下 ， 单 位 时 间 软 件 系统 出 现 失效 的 
概率 。 有 具体 用 数学 用 语 来 描述 ， 就 是 当 软 件 在 0 ~ :时 刻 内 没有 发 生 失 效 的 条 件 下 ，: 时 
刻 软件 系统 的 失效 强度 ， 用 MD) 表示 失效 率 ， 则 

f(t)= 4 有人 (15-3) 
代入 公式 《15-1) 可 得 从 可 千 度 到 失效 率 的 转换 表达 式 : 


2 一 一 (15-4) 


6。 可 靠 度 与 失效 率 之 间 的 换算 
我 们 知道 ,在 0 时 刻 ， 可 靠 度 R(0) 为 1， 对 公式 《15-4) 一 阶 常 微分 方程 求解 
可 得 ; 


R() = os (15-5) 
假设 软件 系统 的 失效 率 为 营 数 时 ， 由 公式 15-5 可 得 ; 
R(t)=e™” (15-6) 
当 失 效率 4() 与 时 间 1 之 积 ， 也 就 是 以 (1)<0.05 时 ， 公 式 15-6 可 简化 为 
R(1)=1- A(0) :1 (15-7) 
这 样 计 算 误差 在 2.5% 之 内 。 
由 公式 15-6 可 得 从 可 千 度 到 失效 强度 的 转换 公式 
40) = MR) (15.8) 
当 可 靠 度 RD 大 于 0.95 时 ， 公 式 15-6 可 简化 为 
4(h = 一 (15-9) 
这 样 计 算 误差 在 2.5% 之 内 。 
7。 平均 无 失效 时 间 


平均 无 失效 时 间 (MTTF) (Mean Time to Failure) 就 是 软件 运行 后 ， 到 下 一 次 出 现 
失效 的 平均 时 间 。 通 常平 均 无 失效 时 间 更 能 直观 地 表明 一 个 软件 的 可 千 程 度 。 用 6 表示 
平均 无 失效 时 间 MTTF， 则 可 得 ; 

g=|，RG)dt (15-10) 
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代入 关于 失效 率 的 换算 公式 ， 可 得 


p= | os (15-11) 
0 


当 失 效率 为 一 个 常数 时 ， 可 得 : 


1 
8 = 一 (15-12) 
1 


当 我 们 讨论 完 对 软件 可 你 性 的 定量 描述 问题 之 后 ， 需 要 对 软件 可 靠 度 这 个 直接 反映 
软件 可 你 性 的 度量 指标 作 下 列 补充 说 明 。 


15.1.4 


描述 的 软件 对 象 必须 明确 ， 即 霜 指 明 它 点 人 

软件 失效 必须 明确 定义 。 

必须 假设 硬件 无 故障 (失效 ) 和 软件 有 关 变 量 的 输入 值 正确 。 
运行 环境 包括 硬件 环境 、 软 件 支持 环境 和 确定 的 软件 输入 域 。 

规定 的 时 间 必 须 指 明 时 间 基 准 ， 可 以 是 自然 时 间 (日 历时 间 )、 运 行 时 间 、 执 
行 时 间 (CPU 时 间 )， 或 其 他 时 间 基 准 。 

软件 无 失效 运行 的 机 会 通常 以 概率 度量 ， 但 也 可 以 模糊 数学 中 的 可 能 性 加 以 
度量 。 

上 述 定 义 是 在 时 间 域 上 进行 的 ， 这 时 软件 可 徘 度 是 一 种 动态 度量 。 也 可 以 是 在 
数据 域 上 将 软件 可 畦 度 定 义 为 一 种 表态 度量 ， 表 示 软 件 成 功 执行 一 个 回合 的 概 
率 ， 软 件 回合 (Run) 是 指 软件 在 规定 环境 下 的 一 个 基本 执行 过 程 ， 如 给 定 一 
组 输入 数据 ， 到 软件 给 定 相应 的 输出 数据 这 一 过 程 。 软 件 回合 是 软件 运行 的 最 
小 的 、 不 可 分 的 执行 单位 ， 软 件 的 运行 过 程 由 一 系列 软件 回合 组 成 。 

有 时 将 软件 运行 环境 简单 地 理解 为 软件 运行 剖面 〈operational profile)。 欧 空 局 
(ESA) 标准 PSS-01-21 (1991?“ESA 软件 产品 保证 要 求 ” 中 ， 定 义 “软件 运 
行 剖面 ”为 :“ 对 系统 使 用 条 件 的 定义 。 系 统 的 输入 值 都 用 其 按时 间 的 分 布 或 
技 它 们 在 可 能 输入 范围 内 的 出 现 概率 的 分 布 来 定义 ”。 简 单 来 说 ， 运 行 剖面 定 
义 了 关于 软件 可 靠 性 描述 中 的 “规定 条 件 ”， 也 就 相当 于 可 靠 性 测试 中 需要 考 
虑 的 测试 环境 、 测 试 数 据 等 一 系列 问题 。 


可 靠 性 目标 


前 面 我 们 定 二 分 析 软 件 的 可 靠 性 时 ， 使 用 失效 强度 来 表示 软件 缺陷 对 软件 运行 的 影 
响 程 度 。 然 而 在 实际 情况 中 ， 对 软件 运行 的 影响 程度 不 仅 取 决 于 软件 失效 发 生 的 概率 ， 
还 和 软件 失效 的 严重 程度 有 很 大 关系 。 这 里 我 们 引出 另外 一 个 概念 ， 失 效 严 重 程度 类 


(failure severity class ) 。 
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失效 严重 程度 类 就 是 对 用 户 具 有 相同 程度 影响 的 失效 集合 。 

对 失效 严重 程度 的 分 级 可 以 技 照 不 同 的 标准 进行 ， 最 为 常见 的 是 按 对 成 本 影响 、 对 
系统 能 力 的 影 啊 等 标准 划分 软件 失效 的 严重 程度 类 。 

对 成 本 的 影响 可 能 包括 失效 引起 的 额外 运行 成 本 、 修 复 和 恢复 成 本 、 现 有 或 潜在 的 
业务 机 会 的 损失 等 。 由 于 失效 严重 程度 类 的 影响 分 布 很 广泛 ， 为 了 技 照 一 定数 量 的 等 级 
去 定义 失效 严重 程度 类 ， 我 们 通常 用 数量 级 去 划分 等 级 。 

表 15-1 给 出 了 一 个 按照 对 成 本 的 影响 划分 失效 严重 程度 类 的 例子 , 这 个 例子 涉及 到 
的 软件 系统 是 茶 电 子 商务 运营 系统 。 


表 15-1 按照 对 成 本 的 影响 划分 失效 广 重 程度 类 
失效 严重 程度 类 定义 (人 民 币 ) 
CE 1 千 元 一 ! 万 元 
2 jm | 5 | “ci 
| Db | 


对 系统 能 力 的 影响 常常 表现 为 关键 数据 的 损失 、 系 统 异常 退出 、 系 统 裔 沉 、 导 致 用 
户 操作 无 效 等 。 对 于 不 同性 质 的 软件 系统 ， 相 同 的 表现 可 能 造成 的 失效 严重 程度 是 不 同 
的 ， 比 如 对 可 用 性 要 求 较 商 的 系统 ， 导 致 长 时 间 你 机 的 失效 稍 前 会 划分 到 较 商 的 严重 级 
别 中 去 。 

表 15-2 给 出 了 一 个 按照 对 系统 能 力 的 影响 划分 失效 严重 程度 类 的 例子 , 这 个 例子 涉 
及 到 的 软件 系统 是 茶 电信 实时 夺 费 系统 。 


表 15-2 ”按照 对 系统 能 力 的 影响 划分 失效 严重 程度 类 
失效 严重 程度 类 定义 
I 系统 崩 澳 ， 重 要 数据 不 能 恢复 
2 系统 出 错 停止 响应 ， 重 要 数据 可 恢复 
3 | 用 户 重要 操作 无 响应 ， 可 恢复 
4 部 分 操作 无 响应 ， 但 可 用 其 他 损 作 方式 痊 代 


有 了 失效 严重 程度 的 划分 ， 我 们 现在 可 以 结合 失效 强度 来 定量 地 表示 一 个 软件 系统 
的 可 化 性 目标 了 。 

可 化 性 目标 是 指 客户 对 软件 性 能 满意 程度 的 期 望 。 通 常用 可 舍 度 、 故 障 强 度 、 平 均 
无 故障 时 间 (MTTF) 等 指标 来 描述 ， 根 据 不 同 项 目的 不 同 需 要 而 定 。 建 立定 量 的 可 累 
性 指标 需要 对 可 靠 性 、 交 付 时 间 和 成 本 进行 平衡 。 为 了 定义 系统 的 可 靠 性 指标 ， 必 须 确 
定 系统 的 运行 模式 ， 定 义 故 障 的 严重 性 等 级 ， 确 定 故 障 强度 目标 。 
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例如 ， 对 于 表 15-2 的 例子 ， 我 们 可 以 根据 经 验 和 用 户 的 需求 确定 软件 系统 需要 达到 
的 可 靠 程度 ， 技 照 前 面 的 公式 ， 换 算 成 失效 强度 和 平均 无 失效 时 间 ， 如 表 15-3 所 示 。 


表 15-3 可 急性 目标 参考 家 


失效 严重 程度 类 可 适度 要 求 /% 失效 强度 平均 无 失效 时 间 


15.1.s 


p99999 | ”10 | 14 生 


;| om 
| | | 


可 千 性 测试 的 意义 


EY | wm 


软件 可 靠 性 问题 已 被 越 来 越 多 的 软件 工程 专家 所 重视 ， 人 们 已 开始 投入 大 量 的 人 
力 、 物 力 去 研究 软件 可 靠 性 的 设计 、 评 估 、 测 试 等 课题 。 以 下 多 个 方面 可 以 反映 出 软件 
可 靠 性 问题 对 软件 工程 实践 ， 乃 至 对 生产 活动 和 社会 活动 产生 的 深远 的 影响 。 


软件 失效 可 能 造成 灾难 性 的 后 果 。 一 个 最 显著 的 例子 就 是 由 于 控制 系统 Fortran 
程序 中 少 了 个 如 点 ， 致 使 控制 系统 未 能 发 出 正确 的 指令 ， 最 终 使 美国 的 一 次 宇 
宙 飞 行 失败 。 而 目前 由 于 计算 机 和 软件 在 各 行 各 业 中 应 用 的 日 益 广泛 和 深入 ， 
例如 军用 作战 系统 、 民 航 指挥 系统 、 银 行 支付 系统 、 交 通 调控 系统 等 ， 一 旦 发 
生 严 重 级 别 的 软件 失效 ， 轻 则 造成 经 济 损失 ， 重 则 危及 人 们 的 生命 安全 ， 危 害 
国家 安全 。 

软件 的 失效 在 整个 计算 机 系统 失效 中 的 比例 较 商 。 某 研究 机 构 曾 经 作 过 统计 ， 
在 计算 机 系统 的 失效 中 ， 有 80% 和 软件 有 关 。 原 因 是 软件 系统 的 内 容 结 构 太 复 
杂 了 ， 一 个 较 简 单 的 程序 ， 其 所 有 的 路 径 数 就 可 能 是 一 个 天 文 数字 。 在 软件 开 
发 的 过 程 中 ， 很 难 用 全 路 径 履 盖 方 式 的 测试 去 发 现 软件 系统 中 隐藏 的 所 有 缺 
陷 ， 也 就 是 说 ， 很 难 完全 排除 软件 缺陷 。 

相 比 而 件 可 靠 性 技术 ， 软 件 可 靠 性 技术 很 不 成 熟 ， 这 就 加 剧 了 软件 可 靠 性 问题 
的 重要 性 。 例 如 在 硬件 可 靠 性 领域 ， 故 障 树 分 析 (FTA)、 失 效 模 式 与 效应 分 析 
(FMEA) 技术 等 比较 成 熟 ， 容 错 技术 也 有 广泛 应 用 ， 但 在 软件 可 靠 性 领域 ， 这 
些 技术 似乎 尚未 定型 。 

与 硬件 元 器 成 本 急剧 下 降 形 成 鲜明 对 比 的 是 ， 软 件 费 用 旦 有 增 无 减 的 势头 ， 而 
软件 可 靠 性 问题 是 造成 这 种 费用 增长 的 主要 原因 之 一 。 


计算 机 技术 获得 日 瘟 广泛 的 应 用 ， 随 着 计算 机 应 用 系统 中 软件 成 分 的 不 断 增 


加 ， 使 得 系统 对 于 软件 的 依赖 性 越 来 越 强 ， 软 件 对 生产 活动 和 社会 生活 的 影响 
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越 来 越 大 ， 从 而 增加 了 软件 可 靠 性 问题 在 软件 工程 领域 乃至 整个 计算 机 工程 领 
域 的 重要 性 。 
软件 可 胃 性 问题 的 重要 性 也 凸显 出 了 ， 发 展 以 发 现 软件 可 靠 性 缺陷 为 目的 的 可 靠 性 
测试 技术 的 迫切 性 。 


15.1.6 ”广义 的 可 靠 性 测试 与 狭义 的 可 丢 性 测试 


广义 的 软件 可 靠 性 测试 是 指 为 了 最 终 评价 软件 系统 的 可 靠 性 而 运用 建 模 、 统 计 、 试 
验 、 分 析 、 评 价 等 一 系列 手段 对 软件 系统 实施 的 一 种 测试 ， 一 个 完整 的 软件 可 妹 性 测试 
包括 如 图 15-1 所 示 的 过 程 。 


| 确定 可 你 性 目标 
定义 运行 剖面 实施 测试 
| 测试 问题 集 | 
人 | 。 狭义 的 软件 可 你 性 测试 
测试 数据 
| 分析 
分 析 影响 [可靠 性 数据 | 
可 靠 性 的 因素 
| 建 模 或 选取 模型 可 千 性 模 措 i 
广义 的 软件 可 靠 性 测试 
可 知性 评价 


图 15-1 广义 的 软件 可 其 性 测试 


狭义 的 软件 可 靠 性 测试 是 指 为 了 获取 可 靠 性 数据 ， 按 预先 确定 的 测试 用 例 ， 在 软件 
的 预期 使 用 环境 中 ， 对 软件 实施 的 一 种 测试 。 狭 义 的 软件 可 煞 性 测试 也 叫 “ 软 件 可 加 性 
试验 (software reliability test)”， 它 是 面向 缺陷 的 测试 ， 以 用 户 将 要 使 用 的 方式 来 出 试 软 
件 ， 每 一 次 测试 代表 用 户 将 要 完成 的 一 组 操作 ， 使 测试 成 为 最 终 产品 使 用 的 预演 。 这 就 
使 得 所 获得 的 测试 数据 与 软件 的 实际 运行 数据 比较 接近 ， 可 用 于 软件 可 僻 性 评价 。 
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其 实 ， 软 件 可 靠 性 测试 是 软件 测试 的 一 种 形式 ， 和 易 用 性 测试 、 性 能 测试 、 标 准 符 
合 性 测试 等 前 面 介绍 的 测试 类 型 一 样 ， 是 针对 软件 的 某 个 重要 质量 特性 ， 使 用 一 定 的 测 
试用 例 对 软件 进行 测试 的 过 程 。 

可 靠 性 测试 是 对 软件 产品 的 可 靠 性 进行 调查 、 分 析 和 评价 的 一 种 手段 。 它 不 仅仅 是 
为 了 用 测试 数据 确定 软件 产品 是 否 达到 可 区 性 目标 ， 还 要 对 检测 出 的 失效 的 分 布 、 原 
因 及 后 果 进 行 分 析 ， 并 给 出 纠正 建议 。 总 的 来 说 ， 可 售 性 测试 的 目的 可 归纳 为 以 下 三 个 
方面 : 

@ 发 现 软件 系统 在 需求 、 设 计 、 编 码 、 测 试 、 实 施 等 方面 的 各 种 缺陷 。 

@ 为 软件 的 使 用 和 维护 提供 可 靠 性 数据 。 

@ 确认 软件 是 否 达到 可 靠 性 的 定量 要 求 。 


15.2 软件 可 靠 性 建 模 


15.2.1 影响 软件 可 靠 性 的 因素 


在 讲 到 软件 可 靠 性 评估 的 时 候 ， 我 们 不 得 不 提 到 软件 可 靠 性 模型 。 软 件 可 千 性 模型 
(software reliability model〉 是 指 为 预计 或 估算 软件 的 可 靠 性 所 建立 的 可 千 性 框图 和 数学 
模型 。 建 立 可 针 性 模型 是 为 了 将 复杂 系统 的 可 舍 性 逐 级 分 解 为 简单 系统 的 可 舍 性 ， 以 便 
于 定量 预计 、 分 配 、 估 算 和 评价 复杂 系统 的 可 靠 性 。 

为 了 构建 软件 的 可 靠 性 模型 ， 我 们 首先 要 来 分 析 一 下 影响 软件 可 靠 性 的 因素 。 影 响 
软件 可 靠 性 的 因素 是 纷 杂 而 众多 的 ， 甚 至 包括 技术 以 外 的 许多 因素 。 首 先 我 们 必须 只 考 
虑 影响 软件 可 靠 性 的 主要 因素 ， 缺 陷 的 引入 、 发 现 和 清除 。 人 缺陷 的 引入 主要 取决 于 软件 
产品 的 特性 和 软件 的 开发 过 程 特性 ， 软 件 产品 的 特性 指 软件 本 身 的 性 质 ， 开 发 过 程 特性 
包括 开发 技术 、 开 发 工具 、 开 发 人 员 的 水 平 、 需 求 的 变化 频 度 等 。 缺 陷 的 发 现 依靠 用 户 
对 软件 的 操作 方式 、 运 行 环境 等 ， 也 就 是 运行 前面。 缺陷 的 清除 依赖 于 失效 的 发 现 和 修 
复活 动 及 可 千 性 方面 的 投入 。 

从 技术 的 角度 来 看 ， 影 响 软件 可 靠 性 的 主要 因素 如 下 。 

。 运行 剖面 〈 环 境 )。 软 件 可 靠 性 的 定义 是 相对 运行 环境 而 言 的 ， 一 样 的 软件 在 

不 同 的 运行 剖面 下 ， 其 可 靠 性 的 表现 是 不 一 样 的 。 

e。 ”软件 规模 。 也 就 是 软件 的 大 小 ， 一 个 只 有 数 十 行 代码 的 软件 和 几 千 万 行 代码 的 

软件 是 不 能 相提并论 的 。 

。 ”软件 内 部 结构 。 结 构 对 软件 可 千 性 的 影响 主要 取决 于 软件 结构 的 复杂 程度 ， 一 

般 来 说 ， 内 部 结构 越 复杂 的 软件 ， 所 包含 的 软件 缺陷 数 就 可 能 越 多 。 
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。 ”软件 的 开发 方法 和 开发 环境 。 软 件 工程 表明 ， 软 件 的 开发 方法 对 软件 的 可 靠 性 


有 显著 影响 ， 例 如 ， 与 非 结 构 方 法 相 比 ， 结 构 化 方法 可 以 明显 减少 软件 的 缺 
陷 数 。 

软件 的 可 辑 性 投入 。 软 件 在 生命 周期 中 可 辕 性 的 投入 包括 开发 者 在 可 舍 性 设 
时 间 等 。 经 验 表明 ， 在 早期 重视 软件 可 苇 性 并 采取 措施 开发 出 来 的 软件 ， 可 加 
性 有 明显 的 提高 。 


总 之 ， 有 许 许 多 多 的 因素 影响 着 软 件 的 可 靠 性， 有 些 至 今 也 无 法 确定 它们 与 软件 可 
靠 性 之 间 的 定量 关系 ， 甚 至 定性 关系 也 不 甚 清楚 。 


15.2.2 ”软件 可 入 性 建 模 方 法 
一 个 软件 可 靠 性 模型 通常 (但 不 是 绝对 ) 由 以 下 几 部 分 组 成 。 


模型 假设 。 模 型 是 实际 情况 的 简化 或 规范 化 ， 总 要 包含 者 干 假设 ， 例 如 测试 的 
选取 代表 实际 运行 剖面 ,不同 软件 失效 独立 发 生 等 。- 

性 能 度量 。 软 件 可 千 性 模型 的 输出 重 就 是 性 能 度量 ， 如 失效 强度 、 残 留 缺陷 数 
等 。 在 软件 可 靠 性 模型 中 性 能 度量 通常 以 数学 表达 式 给 出 。 

参数 估计 方法 。 某 些 可 靠 性 度量 的 实际 值 无 法 直接 获得 ， 例 如 残留 缺陷 数 ， 这 
时 澳 通过 一 定 的 方法 估计 参数 的 值 ， 从 而 间接 确定 可 徘 性 度量 的 值 。 当 然 ， 对 
于 可 直接 获得 实际 值 的 可 知性 度量 ， 就 无 需 参 数 信 计 了 。 

数据 要 求 。 一 个 软件 可 靠 性 模型 要 求 一 定 的 输入 数据 ， 即 软件 可 靠 性 数据 。 不 
同类 型 的 软件 可 靠 性 模型 可 能 要 求 不 同类 型 的 软件 可 轧 性 数据 。 


绝 大 多 数 的 模型 包含 三 个 共同 假设 。 这 些 假 设 至 今 主宰 着 软件 可 僻 性 建 模 的 研究 发 
展 ， 人 们 尚未 找到 克服 这 些 假设 局 限 性 的 有 效 方法 。 


代表 性 假设 。 此 假设 认为 软件 测试 用 例 的 选取 代表 软件 实际 的 运行 剂 面 ， 甚 至 
认为 测试 用 例 是 独立 随机 地 选取 。 此 假设 实质 上 是 指 可 以 用 测试 产生 的 软件 可 
靠 性 数据 预测 运行 阶段 的 软件 可 靠 性 行为 。 

独立 性 假设 。 此 假设 认为 软件 失效 是 独立 发 生 于 不 同时 刻 ， 一 个 软件 失效 的 发 
生 不 影响 另 一 个 软件 失效 的 发 生 。 例 如 在 概率 范 时 ， 假 设 相 邻 软件 失效 间 陋 构 
成 一 组 独立 随机 变量 ， 或 假设 一 定时 间 内 软件 失效 次 数 构成 一 个 独立 增 量 过 
程 。 在 模糊 数学 范畴 ， 则 相 邻 软件 失效 间隔 构成 一 组 不 相关 的 模糊 变 重 。 
相同 性 假设 。 此 假设 认为 所 有 软件 失效 的 后 果 (等级) 相同 ， 即 建 模 过 程 只 考 
虑 软件 失效 的 具体 发 生 时 刻 ， 不 区 分 软件 的 失效 严重 等 级 。 


软件 可 靠 性 模型 要 描述 失效 过 程 对 上 一 节 所 分 析 的 因素 的 一 般 依 赖 形式 。 由 于 这 些 
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因素 大 多 数 在 本 质 上 是 概率 性 的 ， 并 且 表现 与 时 间 相 关联 ， 所 以 我 们 通过 失效 数据 的 概 
率 分 布 和 随机 过 程 随时 间 的 变化 的 特性 来 整体 区 分 软件 可 靠 性 模型 。 

我 们 常常 通过 下 面 估计 或 预测 的 方法 来 确定 模型 的 参数 。 估 计 是 通过 收集 到 的 失效 
数据 进行 统计 分 析 ， 利 用 一 定 的 推导 过 程 归 纳 出 模型 的 参数 ， 预 测 则 是 使 用 软件 产品 自 
身 的 属性 和 开发 过 程 来 确定 模型 的 参数 ， 这 种 方法 可 以 在 开始 执行 程序 前 完成 。 

确定 了 模型 的 参数 后 ， 就 可 以 来 表示 失效 过 程 的 很 多 不 同 的 特性 。 例 如 大 多 数 模型 
都 会 对 如 下 的 内 容 进行 解析 表达 。 

。 ”任何 时 间 点 所 经 历 的 平均 失效 数 。 

。 一段 时 间 间 隔 内 的 平均 失效 数 。 

。 任何 时 间 点 的 失效 强度 。 

。 ”失效 区 间 的 概率 分 布 。 

在 对 将 来 的 故障 行为 进行 预测 时 ， 应 保证 模型 参数 的 值 不 发 生变 化 。 如 果 在 进行 预 
测 时 发 现 引 入 了 新 的 错误 ， 或 修复 行为 使 新 的 故障 不 断 发 生 ， 就 应 停止 预测 ， 并 等 足够 
多 的 故障 出 现 后 ， 再 重新 进行 模型 参数 的 估计 。 否 则 ， 这 样 的 变化 会 因为 增加 问题 的 复 
杂 程 度 而 使 模型 的 实用 性 降低 。 

一 般 来 说 ， 软 件 可 靠 性 模型 是 以 在 固定 不 变 的 运行 环境 中 运行 的 不 变 的 程序 作为 估 
测 实体 的 。 这 也 就 是 说 ， 程 序 的 代码 和 运行 剖面 都 不 发 生变 化 ， 但 它们 往往 总 要 发 生变 
化 的 ， 于 是 在 这 种 情况 之 下 ， 就 应 采取 分 段 处 理 的 方式 来 进行 工作 。 因 此 ， 模 型 主要 集 
中 注意 力 于 排 错 。 但 是 ， 也 有 的 模型 共有 能 处 理 缓 慢 地 引进 错误 情况 的 能 力 。 

对 于 一 个 已 发 行 并 正在 运行 的 程序 ， 应 暂缓 安装 新 的 功能 和 对 下 一 次 发 行 的 版 本 的 
修复 。 如 果 能 保持 一 个 不 变 的 运行 剖面 ， 则 程序 的 故障 密度 将 显示 为 一 个 常数 。 

一 般 来 说 ,. 一 个 好 的 软件 可 靠 性 模型 增加 了 关于 开发 项 目的 交流 ， 并 对 了 解 软件 开 
发 过 程 提供 了 一 个 共同 的 工作 基础 , 它 也 增加 了 管理 的 透明 度 和 其 他 令 人 感 兴 趣 的 东西 。 
即使 在 特殊 的 悄 况 之 下 ， 通过 谷 型 作出 的 预测 并 不 是 很 精确 的 话 ， 上 面 的 这 些 优点 也 仍 
然 是 明显 而 有 价值 的 。 

要 建立 一 个 有 用 的 软件 可 靠 性 模型 必须 有 坚实 的 理论 研究 工作 、 有 关 工 具 的 建造 和 
实际 工作 经 验 的 积累 。 通 党 这些 工作 要 许多 人 一 年 的 工作 量 。 相 反 ， 要 应 用 一 个 好 的 软 
件 可 靠 性 模型 ， 则 要 求 以 极 少 的 项 目 资源 就 可 以 在 实际 工作 中 产生 好 的 效益 。 

一 个 好 的 软件 可 靠 性 模型 应 该 具有 如 下 重要 特性 。 

其 于 可 靠 的 假设 ; 

简单 ; 

计算 一 些 有 用 的 呈 ， 

给 出 未 来 失效 行为 的 好 的 映射 ， 
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。 ”可 广泛 应 用 。 
15.2.3 ”软件 的 可 靠 性 模型 分 类 


一 个 有 效 的 软件 可 靠 性 模型 应 尽 可 能 地 将 上 面 所 述 的 因素 在 软件 可 靠 性 建 模 时 加 
以 考虑 ， 尽 可 能 简明 地 反映 出 来 。 上 自 1972 年 第 一 个 软件 可 徘 性 分 析 模 型 发 表 的 20 多 年 
来 ， 见 之 于 文献 的 软件 可 靠 性 统计 分 析 模 型 将 近 百 种 。 这 些 可 此 性 模型 大 致 可 分 为 如 下 
10 类 。 
种 子 法 模型 ， 
失效 率 类 模型 ， 
曲线 拟 合 类 模型 ; 
可 靠 性 增长 模型 ，; 
程序 结构 分 析 模 型 ; 
输入 域 分 类 模型 ， 
执行 路 径 分 析 方 法 模型 
非 齐 次 泊 松 过 程 模型 ， 
马尔 可 夫 过 程 模 型 ， 
贝 叶 斯 类 模型 。 
下 面 分 别 对 这 些 模型 进行 简单 介绍 。 
(1) 种 子 法 模型 
这 类 模型 利用 捕获 -再 捕获 抽样 技术 估计 程序 中 的 错误 数 ， 在 程序 中 预先 有 意 “ 播 
种 ”一 些 设 定 的 错误 “种 子 ”， 然 后 根据 测试 出 的 原始 错误 数 和 发 现 的 诱导 铬 误 的 比例 ， 
来 估计 程序 中 残留 的 错误 数 。 其 优点 是 简便 易 行 ， 人 缺点 是 请 导 错 误 的 “种 子 ” 与 实际 的 
原始 错误 之 间 的 类 比 性 估量 困难 。 
(2) 失效 率 类 模型 
这 类 模型 用 来 研究 程序 的 失效 率 的 ， 主 要 有 下 列 内 容 。 
Jelinski-Moranda 的 de-eutrophication 模型 ， 
Jelinski-Moranda 的 几何 de-eutrophication 模型 ; 
Schick-Wolverton 模型 ; 
改进 的 Schick-Wolverton 模型 ; 
Moranda 的 几何 泊 松 模型 ; 
e Goal 和 Okumoto 不 完全 排 错 模型 。 
(3) 曲线 拟 合 类 模型 
这 类 模型 用 回归 分 析 的 方法 研究 软件 复杂 性 、 程 序 中 的 缺陷 数 、 失 效率 、 失 效 间隔 
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时 间 ， 包 括 参 数 方法 和 非 参 数 方法 两 种 。 

(4) 可 靠 性 增长 模型 

这 类 模型 预测 软件 在 检 和 错过 程 中 的 可 靠 性 改进 ， 用 增长 函数 来 描述 软件 的 改进 过 
程 。 这 类 模型 如 下 。 

。 ”Duane 模型 ; 

e ”Weibull 模型 ， 

e ”Wagoner 的 Weibull 改进 模型 ， 

e ”Yamada 和 Osaki 的 逻辑 增长 曲线 ; 

。 Gompertz 的 增长 曲线 。 

(5) 程序 结构 分 析 模 型 

程序 结构 模型 是 根据 程序 、 子 程序 及 其 相互 间 的 调用 关系 ， 形 成 一 个 可 千 性 分 析 网 
络 。 网 络 中 的 每 一 结 点 代表 一 个 子 程序 或 一 个 模块 ， 网 络 中 的 每 一 有 向 弧 代 表 模 块 间 的 程 
序 执行 顺序 。 假 定 各 结 点 的 可 靠 性 是 相互 独立 的 ， 通 过 对 每 一 个 结 点 可 靠 性 、 结 点 间 转 换 
的 可 千 性 和 网 络 在 结 点 间 的 转换 概率 ， 得 出 该 持续 程序 的 整体 可 入 性 。 这 类 模型 如 下 。 

。 Littewood 马尔 可 夫 结 构 模 型 

e。 Cheung 的 面 同 用 户 的 马尔 可 夫 模 型 。 

(6) 输入 域 分 类 模型 

这 类 模型 选取 软件 输入 域 中 的 某 些 样本 “点 ”运行 程序 ,根据 这 些 样本 点 在 “实际 ” 
使 用 环境 中 的 使 用 概率 的 测试 运行 时 的 成 功 /失效 率 ， 推 断 软 件 的 使 用 可 靠 往 。 这 类 模型 
的 重点 〈 亦 是 难点 ) 是 输入 域 的 概率 分 布 的 确定 及 对 软件 运行 剖面 的 正确 描述 。 这 类 横 
型 如 下 。 

e。 Nelson 模型 ; 

e。 ”Bastani 的 基于 输入 域 的 随机 过 程 模型 。 

(7) 执行 路 径 分 析 方 法 模型 

这 类 模型 的 分 析 方 法 与 上 面 的 模型 相似 ， 先 计算 程序 各 逻辑 路 径 的 执行 概率 和 程序 
中 错误 路 径 的 执行 概率 ， 再 综合 出 该 软件 的 使 用 可 靠 性 。Shooman 分 解 模 型 属于 此 类 。 

(8) 非 齐 次 泊 松 过 程 模型 

非 齐 次 泊 松 过 程 模型 ， 即 NHPP， 是 以 软件 测试 过 程 中 单位 时 间 的 失效 次 数 为 独立 
泊 松 随机 变量 ， 来 预测 在 今后 软件 的 某 使 用 时 间 点 的 累计 失效 数 。 这 类 模型 如 下 。 

。 ”Mousa 的 指数 模型 

e Goel 和 Okumoto 的 NHPP 模型 ; 

e。  S- 型 可 靠 性 增长 模型 ， 

。 超 指数 增长 模型 ; 
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e。 Pham 改进 的 NHPP 模型 。 

(9) 马尔 可 夫 过 程 模型 

这 类 模型 如 下 。 

。 完全 改 错 的 线性 死亡 模型 

。 不 完全 改 错 的 线性 死亡 模型 ; 

e 完全 改 错 的 非 静 态 线性 死亡 模型 。 

(10) 贝 叶 斯 类 模型 

这 是 利用 失效 率 的 试验 前 分 布 和 当前 的 测试 失效 信息 ， 来 评估 软件 的 可 靠 性 。 这 是 
一 类 当 软 件 可 靠 性 工程 师 对 软件 的 开发 过 程 有 充分 的 了 解 ， 软 件 的 继承 性 比较 好 时 具有 
良好 效果 的 可 靠 性 分 析 模 型 。 这 类 模型 如 下 。 

e。 ”连续 时 间 的 离散 型 马尔 可 夫 链 ; 

e Shock 模型 。 

另外 ，Musa 和 Okumoto 依据 模型 的 不 同属 性 对 可 靠 性 模型 进行 以 下 分 类 。 

e ”时 间 域 ， 有 两 种 ， 自 然 或 日 历时 间 与 执行 (CPU) 时 间 ; 

e。 失效 数 类 : 取决 于 无 限时 间 内 发 生 的 失效 数 是 有 限 的 还 是 无 限 的 ; 

e ”失效 数 分 布 ， 相 对 于 时 间 系 统 失效 数 的 统计 分 布 形式 ， 主 要 的 两 类 是 泊 松 分 布 

型 和 二 项 分 布 型 ; 
。 有 限 类 : 对 有 限 失 效 数 的 类 别 适 用 ， 用 时 间 表 示 的 失效 强度 的 函数 形式 ; 
se 无限 类 ， 对 无 限 失效 数 的 类 别 适 用 ， 用 经 验 期 望 失效 数 形 示 的 失效 强度 的 函数 
形式 。 ， 


15.2.4 ”软件 可 靠 性 模型 举例 


迄今 已 有 数 十 种 模型 是 根据 上 一 小 节 中 关于 模型 的 分 类 方法 进行 的 分 类 ， 下 面 我 们 
将 介绍 Jelinski-Moranda 模型 的 基本 思想 及 其 相关 的 历史 背景 。 

Jelinski-Moranda 模型 经 常 简称 为 JM 模型 ， 它 是 Z.Jelinski 和 PMoranda 于 1972 年 
提出 的 软件 可 舍 性 数学 模型 ,是 最 具 代表 性 的 早期 软件 可 靠 性 马尔 可 夫 过 程 的 数学 模型 。 
随后 的 许多 工作 ， 都 是 在 它 的 基础 上 ， 对 其 中 与 软件 开发 实际 不 相 适 合 的 地 方 进行 改进 
而 提出 来 的 ， 所 以 ，JM 模型 是 具有 广泛 影响 的 模型 之 一 。 

1。 模 型 假设 

JM 模型 的 基本 假设 如 下 。 

e ”软件 系统 中 的 初始 错误 个 数 为 一 个 未 知 的 常数 ， 用 No 表示 。 

。 可 你 性 测试 中 发 现 的 错误 立即 被 完全 排除 ， 并 且 排 除 过 程 不 引入 新 的 错误 ， 排 

除 时 间 忽 略 不 计 。 因 此 ， 每 次 排 错 之 后 ，No 就 要 减 去 1。 
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。 在 任何 一 个 失效 间 隐 区间， 软件 系统 的 失效 率 与 系统 中 剩余 的 错误 个 数 成 正 
比 ， 比 例 常数 用 外 表示 。 
其 实 ， 最 初 Jelinski 和 Moranda 提出 的 模型 假设 只 有 最 后 一 条 ， 前 面 两 个 假设 是 后 
人 根据 使 用 过 程 中 出 现 的 问题 归纳 总 结 而 来 的 。 
2. 函数 表达 式 
根据 假设 ， 每 发 生 1 次 失效 ， 错 误 数 都 要 减 去 1， 如 果 用 癌 ， 姑 ，.…， 表示 从 0 时 
刻 开 始 的 每 次 失效 间隔 时 间 ， 那 第 i-1 次 失效 到 第 i 次 失效 之 间 的 失效 率 就 是 : 


MD)=GN-i+D (15-13 ) 
根据 我 们 在 可 和 舍 性 定量 描述 一 节 的 讨论 ， 我 们 知道 失效 强度 函数 为 : 
f(0)= DN -itle Co (15-14) 
可 和 集 度 函 数 为 : 
R(1) =e Oo (15-15) 
失效 概率 分 布 函数 为 ; 
F(t)=1-e ot) (15-16) 
3， 参 数 估计 
在 可 靠 度 函 数 表 达 式 中 含有 两 个 未 知 参数 多 和 No, 下面 我 们 运用 统计 学 中 的 最 大 似 
然 法 来 对 参数 @ 和 No 进行 估算 。 
由 公式 (15-15〉 可 得 似 然 函数 : 
Li, t,t )= TIow, -i+tl)e om (15-17) 


对 公式 《15-17〉 取 对 数 ， 得 到 对 数 似 然 函数 : 
InL = Yn[ oN, 本 le ois | 
1=t 


= yin[O(N -i+ 1) FON, -i+Dn] (15-18) 
1=l i=l 


= YIn(N, -i+D+nmo-y [O(N, -i+l)t] 


i=| 


对 公式 《15-18) 分 别 对 No 和 DB 求 偏 导 ， 并 令 结 果 为 等: 


EE (15-19) 
ON, i=] No 一 上 十 1=l 


olnL _n 
op DD 


-》(N-i+Dn=0 (15-20) 
i=l ' 
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公式 15-19 可 以 写成 
alnL 号 1 
oN MN-i+l 
WE 
NT- (i-, 


isl 


(15-21) 


N, -> -Dr 


| 


公式 15-21 中 不 含 B， 因 而 可 以 由 测试 收集 的 数据 ， 计 算出 T=》 4 和 3 (i-1) 的 
f=l t=l 
值 ， 将 它们 代入 公式 15-21 中 ， 即 可 先 解 出 No 的 估计 值 局,: 


a | | 
Ni = 一 + 一 -一 二 + 一 一 一 一 一 一 
n (15-22) 


No -D490 -De 


i=| i=] 


我 们 再 来 解 出 另 一 个 参数 四 的 估计 值 ， 令 


T= (15-23) 
I=| 
则 从 15-20 中 可 解 出 
Oe (15-24) 


NT - Xt -Dr 
= 
代入 No 的 估计 值 N,， 可 解 出 @ 的 估计 值 人 @: 


由 (15-25) 


| 
NY YG -Ji 
j=] 二 

需要 说 明 的 是 ， 软 件 可 入 性 是 一 门 正在 发 展 中 的 分 支 学 科 ， 许 多 来 源 于 硬件 可 靠 性 
的 理论 在 软件 可 靠 性 研究 中 并 不 适用 ， 有 关 软 件 可 靠 性 的 模型 并 不 成 熟 ， 并 且 应 用 范围 
也 非常 有 限 ， 软 件 可 靠 性 的 定量 分 析 方 法 和 数学 模型 要 在 实践 中 不 断 加 以 验证 和 修正 ， 
对 于 不 同类 型 的 软件 ， 模 型 的 假设 、 表 示 公 式 及 应 用 方式 也 有 很 大 的 区 别 。 
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15.3 ”软件 可 靠 性 测试 
15.3.1 软件 的 可 靠 性 测试 概述 


软件 测试 者 可 以 使 用 很 多 方法 进行 软件 测试 ， 如 按 行 为 或 结构 来 划分 输入 域 的 划分 
测试 ， 纯粹 随机 选择 输入 的 随机 测试 ， 基 于 功能 、 路 径 、 数 据 流 或 控制 流 的 匀 盖 测试 等 。 
对 于 给 定 的 软件 ， 每 种 测试 方法 都 局 限于 暴露 一 定数 量 和 一 些 头 别 的 缺陷 。 通 过 这 些 测 
试 能 够 查找 、 定 位 、 改 正和 消除 某 些 缺陷 ， 实 现 一 定 意义 上 的 软件 可 靠 性 增长 。 但 是 ， 
由 于 它们 都 是 面向 错误 的 测试 ， 测 试 所 得 的 结果 数据 不 能 直接 用 于 软件 可 靠 性 评价 ， 必 
须 经 过 一 定 的 分 析 处 理 后 方 可 使 用 可 靠 性 模型 进行 可 靠 性 评价 。 

软件 可 靠 性 测试 由 可 靠 性 目标 的 确定 、 运 行 神 面 的 开发 、 测 试用 例 的 设计 、 测 试 实 
施 、 测 试 结果 的 分 析 等 主要 活动 组 成 。 

软件 可 靠 性 测试 还 必须 考虑 对 软件 开发 进度 和 成 本 的 影响 ， 报 好 是 在 受 控 的 自动 测 
试 环境 下 ， 由 专业 测试 机 构 完成 。 

软件 可 靠 性 测试 是 一 种 有 效 的 软件 测试 和 软件 可 靠 性 评价 技术 。 尽 管 软件 可 靠 性 测 
试 也 不 能 保证 软件 中 残存 的 缺陷 数 最 少 ， 但 经 过 软件 可 靠 性 测试 可 以 保证 软件 的 可 靠 性 
达到 较 高 的 要 求 ， 对 于 开发 高 可 靠 性 与 高 安全 性 软件 系统 很 有 帮助 。 

软件 可 知性 测试 要 在 工程 上 获得 广泛 应 用 ， 还 有 许多 实际 问题 舌 要 解决 。 


15.3.2 ”定义 软件 运行 剖面 


定义 运行 剖面 首先 需要 为 软件 的 使 用 行为 建 模 ， 建 模 可 以 采用 马尔 可 夫 链 来 完成 。 
用 马尔 可 夫 链 将 输入 域 编码 为 一 个 代表 用 户 观 点 的 软件 使 用 的 状态 集 。 弧 用 来 连接 状态 
并 表示 由 各 种 激励 导致 的 转换 。 这 些 激 励 可 能 由 硬件 、 人 机 接口 或 其 他 软件 等 产生 。 将 
转换 概率 分 配给 每 个 弧 ， 用 来 代表 一 个 典型 用 户 最 有 可 能 施加 给 系统 的 激励 。 这 种 类 型 
的 马尔 可 夫 链 是 一 个 离散 的 有 限 状 态 集 。 这 类 模型 可 以 用 有 向 图 或 转换 矩阵 表示 。 

定义 运行 剖面 的 下 一 步 是 开发 使 用 模型 ， 明 确 和 需要 测试 的 内 容 。 软 件 系统 可 能 会 有 
许多 用 户 和 用 户 类 别 ， 每 类 用 户 都 可 能 以 不 同 的 方式 使 用 系统 。 开 发 使 用 模型 涉及 到 将 
输入 域 分 层 。 有 两 种 类 型 的 分 层 形式 :; 用 户 级 分 层 和 用 法 级 分 层 。 用 户 级 分 层 依赖 于 谁 
或 什么 能 激励 系统 。 用 法 级 分 层 依赖 于 在 测试 状态 下 系统 能 做 什么 。 换 句 话 说， 用户 级 
分 层 考 虑 各 种 类 型 的 用 户 以 及 他 们 如 何 使 用 系统 ， 用 法 级 分 层 则 要 求 考虑 系统 能 够 提供 
的 所 有 功能 。 一 旦 用 户 和 用 法 模型 被 开发 出 来 ， 浙 上 的 概率 将 被 分 配 。 这 些 概 率 估计 主 
要 是 基于 如 下 几 个 方面 。 
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从 现 有 系统 收集 到 的 数据 ; 
与 用 户 的 交谈 或 对 用 户 进行 观察 获得 的 信息 ; 
原型 使 用 与 测试 分 析 的 结果 ; 
相关 领域 专家 的 意见 。 

定义 使 用 概率 的 最 佳 方法 是 使 用 实际 的 用 户 数据 ， 如 来 自 系 统 原 型 、 前 一 版 本 的 使 
用 数据 ;其 次 是 由 该 软件 应 用 领域 的 用 户 和 专家 提供 的 预期 使 用 数据 ， 在 没有 任何 数据 
可 用 的 情况 下 ， 只 能 是 将 每 个 状态 现 有 的 弧 分 配 相同 的 概率 ， 这 是 报 差 的 一 种 方法 。 

由 于 软件 可 车 性 行为 是 相对 于 软件 实际 的 运行 剖面 而 言 的 ， 同 一 软件 在 不 同 运行 剖 
面 下 其 可 靠 性 表现 可 能 大 不 相同 ， 所 以 用 于 可 靠 性 测试 准备 的 运行 剖面 的 开发 与 定义 必 
须 充分 分 析 和 考虑 软件 的 实际 运行 情况 。 

软件 可 化 性 测试 假设 每 个 操作 的 数据 输入 都 有 同样 的 发 生 错 误 的 概率 ， 这 样 最 频繁 
出 现 的 操作 和 输入 将 表现 出 最 高 的 故障 率 。 对 于 特定 的 操作 环境 这 是 正确 的 ， 但 无 法 贯 
穿 系 统 的 全 部 操作 集合 。 典 型 的 例子 是 飞机 的 飞行 控制 软件 ， 在 正常 飞行 、 起 飞 、 降 落 、 
地 面 运动 和 地 面 等 待 这 五 个 状态 中 ,尽管 起 飞 和 降落 在 运行 剖面 上 只 占有 很 小 的 百分比 ， 
但 是 它们 却 占 有 很 大 的 故障 比例 。 对 于 丙 安 全 性 要 求 的 软件 ， 一 个 看 起 来 很 少 使 用 的 代 
码 路 径 也 可 能 带 来 灾难 性 的 后 果 。 因 此 ， 对 于 边界 、 跃 迁 情 况 和 关键 功能 不 应 该 用 简单 
的 运行 浏 面 来 对 符 ， 应 该 构造 专门 的 运行 剖面 ， 补 充 统计 模型 之 外 的 测试 用 例 。 在 园 盖 
率 水 平 不 够 时 ， 可 根据 具体 空白 ， 进 行 适当 的 补充 测试 ， 如 果 补 充 测试 发 现 了 错误 ， 就 
可 分 析 这 些 错误 ， 信 计 其 对 可 靠 性 产生 的 影响 。 

一 个 产品 有 可 能 策 要 开发 多 个 运行 剖面 ， 这 取决 于 它 所 包含 的 运行 模式 和 关键 操 
作 ， 通 常 宽 要 为 关键 操作 单独 定义 运行 剖面 。 


15.3.3 可靠 性 测试 用 例 设 计 


为 了 对 软件 可 僻 性 进行 良好 的 预计 ， 必 须 在 软件 的 运行 域 上 对 其 进行 测试 ， 首 先 定 
义 一 个 相应 的 前 面 来 镜像 运行 域 ， 然 后 使 用 这 个 剖面 驱动 测试 ， 这 样 可 以 使 测试 真实 地 
反映 软件 地 使 用 情况 。 

由 于 可 能 的 输入 几乎 是 无 限 的 ， 测 试 必须 从 中 选择 出 一 些 样 本 ， 即 测试 用 例 。 测 试 
用 例 要 能 够 反映 实际 的 使 用 情况 ， 反 映 系统 的 运行 剖面。 将 统计 方法 运用 到 运行 剖面 开 
发 和 测试 用 例 生 成 中 去 ， 并 为 在 运行 剖面 中 的 每 个 元 素 都 定量 地 赋予 一 个 发 生 概率 值 和 
关键 因子 ， 然 后 根据 这 些 因素 分 配 测试 资源 ， 挑 选 和 生成 测试 用 例 。 

在 这 种 测试 中 , 优先 测试 那些 最 重要 或 最 频繁 使 用 的 功能 ， 释 放 和 绥 解 最 高 级 别 的 
风险 ， 有 助 于 尽早 发 现 那 些 对 可 靠 性 有 最 大 影响 的 故障 ， 以 保证 软件 的 按期 交付 。 

设计 测试 用 例 就 是 针对 特定 功能 或 组 合 功 能 设计 测试 方案 ， 并 编写 成 文档 。 测 试用 
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例 的 选择 既 要 有 一 般 情况 ， 也 应 有 极限 情况 以 及 最 大 和 最 小 的 边界 值 情 况 。 因 为 测试 的 
目的 是 暴露 应 用 软件 中 隐藏 的 缺陷 ， 所 以 在 设计 选取 测试 用 例 和 数据 时 要 考虑 那些 易于 
发 现 缺陷 的 测试 用 例 和 数据 ， 结 合 复杂 的 运行 环境 ， 在 所 有 可 能 的 输入 条 件 和 输出 条 件 
中 确定 测试 数据 ， 来 检查 应 用 软件 是 否 都 能 产生 正确 的 输出 。 

0 : 
测试 用 例 标识 ; 
被 测 对 象 ; 
测试 环境 及 条 件 ; 
侧 试 输 入 ; 
操作 步骤 ， 
预期 输出 ; 
判断 输出 结果 是 否 符合 的 标准 ; 
测试 对 象 的 特殊 需求 。 

由 于 可 靠 性 测试 的 主要 目的 是 评估 软件 系统 的 可 靠 性 ， 因 此 ， 除 了 常规 的 测试 用 例 
集 仍然 适用 外 ， 我 们 还 要 着 重 考 虑 和 可 靠 性 密切 相关 的 一 些 特殊 情况 。 在 测试 中 ， 可 以 
考虑 进行 “强化 输入 ”， 即 比 正常 输入 更 恶劣 (合理 程度 的 恶劣 〉 的 输入 。 

表 15-4 给 出 一 些 参考 例子 ; 


家 15-4 ”可靠 性 测试 用 例 设计 时 重点 考 虚 的 一 些 特殊 情况 


序 号 描述 
1 | 屏蔽 用 户 操作 错 训 考察 对 用 户 常见 的 误 操 作 的 提示 和 屏蔽 情况 


2 对 用 户 的 错误 提示 准确 程度 
3 有 无 操作 错误 引起 系统 异常 退出 的 情况 
| “| 系统 应 对 输入 的 数据 进行 有 效 性 检查 ， 对 元 余 的 数据 进行 
. 过 滤 、 校 验 和 清洗 ， 保 证 数据 的 正确 性 和 可 靠 性 
考察 数据 和 系统 的 受 影响 程度 ， 若 受 损 ， 是 否 提供 补救 工 
具 ， 补 救 的 情况 如 何 ， 异 常情 况 包括 : 
5 “| 异常 情况 的 影响 Q@ 硬件 故障 ; 
@ 网 络 故障 ; 
@) 部 分 软件 模块 失效 。 


15.3.4 可靠 性 测试 的 实施 


在 进行 应 用 软件 的 可 靠 性 测试 前 有 必要 检查 软件 需求 与 设计 文档 是 否 一 致 ， 检 查 软 
件 开 发 过 程 中 形成 的 文档 的 准确 性 、 完 整 性 以 及 与 程序 的 一 致 性 ， 检 查 所 交付 程序 和 数 
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据 以 及 相应 的 软件 支持 环境 是 否 符合 要 求 。 

这 些 检查 虽然 增加 了 工作 最 ， 但 对 于 在 测试 早期 发 现 错误 和 提高 软件 的 质量 是 非 党 
必要 的 。 

软件 可 你 性 测试 必须 是 受 控 测 试 , 在 运行 此 类 测试 时 , 为 了 保证 统计 数据 的 有 效 性 ， 
测试 过 程 中 的 每 个 测试 用 例 必 须 施 加 于 相同 的 软件 版 本 ， 新 的 软件 版 本 意味 着 新 测试 的 
开始 。 

在 有 些 情 况 下 ， 不 能 进行 纯粹 的 可 靠 性 测试 。 因 为 客户 的 要 求 、 合 同 的 规定 或 者 标 
准 的 约束 ， 需 要 补充 其 他 形式 的 非 统计 测试 。 这 时 的 最 佳 选择 是 既 执行 可 靠 性 测试 ， 也 
执行 非 统计 测试 (如 覆盖 测试 )。 如 果 非 统计 测试 在 可 和 僻 性 测试 之 前 完成 ， 由 统计 测试 产 
生 的 统计 数据 仍然 有 效 。 但 是 在 可 靠 性 测试 之 后 执行 非 统 计 测 试 ， 可 能 会 影响 软件 可 千 
性 评估 的 准确 性 。 

软件 可 你 性 测试 同样 依赖 于 软件 的 可 测试 性 。 可 化 性 测试 难点 就 在 于 判断 测试 用 例 
的 运行 是 成 功 还 是 失败 。 在 控制 系统 及 类 似 的 软件 中 ， 失 效 由 详细 说 明 、 时 间 (通常 是 
CPU 时 间或 时 钟 时 间 ) 来 客观 地 定义 。 而 在 一 般 应 用 系统 中 ， 失 效 的 定义 更 主观 些 ， 它 
不 仅 依 赖 于 程序 是 否 符合 规格 说 明 的 要 求 ， 也 取决 于 指定 的 性 能 是 否 能 够 达到 用 户 的 期 
望 , 但 是 否 达 到 期 望 没有 确定 的 标准 。 在 一 些 科学 计算 中 ,计算 结果 只 能 由 计算 机 给 出 ， 
在 这 种 情况 下 ， 如 果 软 件 只 是 输出 了 错误 的 结果 而 不 是 整个 系统 发 生 失效 ， 错 误 就 不 可 
能 被 发 现 。 此 时 可 以 将 测试 分 成 两 个 阶段 进行 。 第 一 阶段 运行 较 少 量 的 测试 用 例 ， 并 对 
照 规 范 进 行 仔细 检查 。 第 二 阶段 再 运行 大 量 测试 用 例 。 第 二 阶段 不 用 人 工 检查 输出 的 每 
项 内 容 ， 而 是 找 失效 现象 ， 包 括 错误 信息 、 断 电 、 贿 溃 和 死机 。 也 可 把 输出 记录 到 文件 
中 ， 采 用 搜索 或 过 滤 方 法 进行 处 理 。 如 果 软 件 有 足够 的 可 测试 性 ， 这 种 方法 不 会 漏 掉 很 
多 的 严重 失效 。 如 果 计 算 的 正确 性 无 法 验证 ， 就 需要 对 软件 进行 一 些 形 式 化 的 证 明 。 

开发 方 交付 的 任何 软件 文档 中 与 可 靠 性 质量 特性 有 关 的 部 分 、 程 序 以 及 数据 都 应 当 
按照 需求 说 明和 质量 需求 进行 测试 。 在 项 目 合同 、 需 求 说 明 书 和 用 户 文档 中 规定 的 所 有 
配置 情况 下 ， 程 序 和 数据 都 必须 进行 测试 。 

软件 可 千 性 数据 是 可 靠 性 评价 的 基础 。 为 了 获得 更 多 的 可 靠 性 数据 ， 应 该 使 用 多 台 
计算 机 同时 运行 软件 ， 以 增加 累计 运行 时 间 。 应 该 建立 软件 错误 报告 、 分 析 与 纠正 措施 
系统 。 按 照相 关 标 准 的 要 求 ， 制 定 和 实施 软件 错误 报告 和 可 靠 性 数据 收集 、 保 存 、 分 析 
和 处 理 的 规程 ， 完 整 、 准 确 地 记录 软件 测试 阶段 的 软件 错误 报告 和 收集 可 集 性 数据 。 

用 时 间 定 义 的 软件 可 舍 性 数据 可 以 分 为 4 类 ， 有 具体 如 下 。 

。 ”失效 时 间 数 据 ， 记 录 发 生 一 次 失效 所 累积 经 历 的 时 间 ; 

。 ”失效 间隔 时 间 数 据 ， 记 录 本 次 失效 与 上 一 次 失效 问 的 间隔 时 间 ; 

。 ”分 组 时 间 内 的 失效 数 ， 记 录 某 个 时 间 区 内 发 生 了 多 少 次 失效 ; 
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。 分 组 时 间 的 累积 失效 数 ， 记 录 到 某 个 区 间 的 累积 失效 数 。 

这 4 类 数据 可 以 互相 转化 。 

在 测试 过 程 中 必须 真实 地 进行 记录 ， 每 个 测试 记录 必须 包含 如 下 信息 。 

es。 测试 时 间 ， 

。 ”含有 测试 用 例 的 测试 说 明 或 标识 ; 

e ”上 所 有 与 测试 有 关 的 出 试 结果 ， 包 括 失 效 数 据 ; 

。 测试 人 员 。 : 

测试 活动 结束 后 要 编写 《软件 可 靠 性 测试 报告 》， 对 测试 用 例 及 测试 结果 在 测试 报 
告 中 加 以 总 结 归纳 。 编 写 时 可 以 参考 GJB 438A-97 中 提供 的 《软件 测 斌 报告》 格式， 并 
应 根据 情况 进行 剪裁 。 测 试 报告 应 具备 如 下 内 容 。 
软件 产品 标识 ; 
测试 环境 配置 (硬件 和 软件 ); 
测试 依据 ; 
测试 结果 ; 
测试 问题 ， 
测试 时 间 。 | 

把 可 靠 性 测试 过 程 进 行规 范 化 ， 有 利于 获得 真实 有 效 的 数据 ， 为 最 终 得 到 客观 的 可 
靠 性 评价 结果 莫 定 基础 。 

对 于 软件 可 靠 性 测试 用 例 的 设计 ， 有 类 更 详细 的 内 容 可 以 参 腿 本 书 中 “黑人 再 斌 有 
例 设计 ”部 分 。 


15.4 ”软件 可 靠 性 评价 


15.4.1 ”软件 可 靠 性 评价 概述 


软件 可 靠 性 评价 是 软件 可 靠 性 活动 的 重要 组 成 部 分 ， 既 适用 于 软件 开发 过 程 ， 也 可 
针对 最 终 软 件 系 统 。 在 软件 开发 过 程 中 使 用 软件 可 僻 性 评价 , 可 以 使 用 软件 可 靠 性 模型 ， 
估计 软件 当前 的 可 靠 性 ， 以 确认 是 否 可 以 终止 测试 并 发 布 软件 ， 同 时 还 可 以 预计 软件 要 
达到 相应 的 可 靠 性 水 平 所 需要 的 时 间 和 工作 量 ， 评 价 提交 软件 时 的 软件 可 靠 性 水 平 。 对 
于 最 终 软件 产品 ， 软 件 可 靠 性 评价 结合 可 靠 性 验证 测试 ， 确 认 软 件 的 执行 与 需求 的 一 致 
性 ， 确 定 最 终 软 件 产品 所 达到 的 可 靠 性 水 平 。 

这 一 节 阐 述 的 软件 可 靠 性 评价 工作 是 指 选 用 或 建立 合适 的 可 靠 性 数学 模型 ， 运 用 统 

计 技术 和 其 他 手段 ， 对 软件 可 靠 性 测试 和 系统 运行 期 间 收 集 的 软件 失效 数据 进行 处 理 ， 
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并 评 佑 和 预测 软件 可 对 性 的 过 程 。 这 个 过 程 包含 3 个 方面 : 
J 选择 可 靠 性 模型 
@ 收集 可 舍 性 数据 ; 
@ 可 靠 性 评估 和 预测 。 


15.4.2 ”怎样 选择 可 靠 性 模型 


在 前 面 我 们 讨论 了 软件 的 可 靠 性 模型 以 及 一 个 举例 ， 一 些 可 靠 性 研究 者 试图 寻找 一 
个 最 好 的 模型 ， 能 适用 于 所 有 的 软件 系统 ， 但 这 样 的 工作 是 徒劳 的 。 因 为 对 于 不 同 的 软 
件 系统 ， 出 于 不 同 的 可 僻 性 分 析 目 的 ， 模 型 的 适用 性 是 不 一 样 的。 但 究竟 怎样 来 为 可 靠 
性 评价 选用 不 同 的 模型 ， 却 又 是 一 个 不 小 的 难题 。 

针对 可 靠 性 模型 的 构成 以 及 我 们 使 用 模型 来 进行 可 靠 性 评价 的 目的 ， 可 以 从 以 下 凡 
个 方面 进行 比较 和 选择 。 

1 模型 假设 的 适用 性 

模型 假设 是 可 你 性 模型 的 基础 ， 模 型 假设 要 符合 软件 系统 的 现 有 状况 ， 或 与 假设 冲 
突 的 因素 在 软件 系统 中 应 该 是 可 忽略 的 。 例 如 ， 有 的 模型 假定 检测 或 发 现 的 软件 缺陷 是 
立即 排除 掉 的 ， 而 且 排 除 时 间 和 忽略 不 计 ， 如 果 现 有 的 软件 系统 对 于 严重 程度 类 较 低 的 软 
件 缺 陷 不 进行 立即 排 错 ， 那 么 这 个 模型 显然 是 不 适用 的 。 

往往 一 个 模型 的 假设 有 许多 条 ， 我 们 需要 在 选用 模型 的 时 候 对 每 一 条 假设 进行 细致 
的 分 析 ， 评 信 现 有 的 软件 系统 中 不 符合 假设 的 因素 对 可 靠 性 评价 的 影响 如 何 ， 以 确定 模 
型 是 否 适 合 软 件 系 统 的 可 靠 性 评价 工作 。 

2. 预测 的 能 力 与 质量 

预测 的 能 力 与 质量 是 指 模型 根据 现在 和 历史 的 可 靠 性 数据 ， 预 测 将 来 的 可 千 性 和 失 
效 概率 的 能 力 ， 以 及 预测 结果 的 准确 程度 。 显 然 模 型 预测 的 能 力 与 质量 是 比较 难于 评价 
的 ， 但 任何 一 个 模型 只 有 在 实践 中 加 以 实验 和 不 断 改善 ， 才 能 得 到 认可 。 所 以 ， 我 们 在 
满足 其 他 条 件 的 前 提 下 ， 应 尽量 选用 比较 成 熟 、 应 用 较 广 的 模型 作为 分 析 模 型 。 

3. 模型 输出 值 能 理 满足 可 靠 性 评价 需求 

我 们 使 用 模型 进行 可 靠 性 评价 的 最 终 目的 ， 是 想得到 软件 系统 当前 的 可 靠 性 定量 数 
据 ， 和 预测 一 定时 间 后 的 可 靠 性 数据 ， 我 们 可 以 根据 可 靠 性 测试 目的 来 确定 哪些 模型 的 
御 出 值 满足 可 靠 性 评价 需求 。 一 般 说 来 ， 最 重要 的 几 个 需要 精确 估计 的 可 靠 性 定 盟 指标 
包括 如 下 内 容 。 

。 ”当前 的 可 靠 度 ， 

。 ”平均 无 失效 时 间 (MTTF); 

。 故障 密度 ; 
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。 ”期 望 达到 规定 可 靠 性 目标 的 日 期 ; 

。 ”达到 规定 的 可 靠 性 目标 的 成 本 要 求 。 

4. 模型 使 用 的 简便 性 ”. 

模型 使 用 的 简便 性 一 般 包 含 三 层 含义 。 

。 模型 需要 的 数据 在 软件 系统 中 应 该 易于 收集 ， 而 且 收 集 需 要 投入 的 成 本 不 能 超 
过 可 靠 性 计划 的 预算 。 

。 粹 型 应 该 简单 易 懂 ， 进 行 可 靠 性 分 析 的 软件 测试 人 员 不 会 花费 太 多 的 时 间 去 研 
究 专业 的 数学 理论 ， 他 们 只 需要 知道 哪些 假设 适用 ， 需 要 收集 哪些 数据 ， 能 够 
得 到 哪些 分 析 结 果 就 可 以 了 。 

。 ”模型 应 该 便于 使 用 ， 最 好 能 用 工具 实现 数据 的 输入 。 也 就 是 说 ， 测 试 人 员 除了 
输入 可 靠 性 数据 外 ， 不 需要 深入 模型 内 部 进行 一 些 额 外 的 工作 。 

尽管 这 样 ， 由 于 可 靠 性 研究 理论 在 软件 工程 领域 发 展 的 限制 ， 可 供 选择 的 可 和 性 模 

型 极其 有 限 ， 这 已 在 相当 大 的 程度 上 制约 了 可 靠 性 测试 的 开展 。 


15.4.3 可靠 性 数据 的 收集 


面向 缺陷 的 可 靠 性 测试 产生 的 测试 数据 经 过 分 析 后 ， 可 以 得 到 非常 有 价值 的 可 靠 性 
数据 ， 是 可 靠 性 评价 所 用 数据 的 一 个 重要 来 源 ,. 这 部 分 数据 取决 于 定义 的 运行 剖面 和 选 
取 的 测试 用 例 集 。 可 靠 性 数据 主要 是 指 软件 失效 数据 ， 是 软件 可 靠 性 评价 的 基础 ， 主 要 
是 在 软件 测试 、 实 施 阶段 收集 的 ， 在 软件 工程 的 需求 、 设 计 和 开发 阶段 的 可 靠 性 活动 ， 
也 会 产生 影响 较 大 的 其 他 可 靠 性 数据 ， 因 此 ， 可 靠 性 数据 的 收集 工作 是 贯穿 于 整个 软件 
生命 周期 的 。 
由 于 软件 开发 过 程 中 的 特殊 复杂 性 及 许多 潜在 因素 的 影响 ， 可 靠 性 数据 收集 工作 会 
极为 困难 ， 目 前 ， 关 于 数据 的 收集 工作 ， 存 在 许多 有 待 解决 的 问题 。 
。 “可靠 性 数据 的 规范 不 统一 。 对 软件 进行 度量 的 定义 混乱 不 清 。 例 如 ， 时 间 、 缺 
陷 、 失 效 、 模 型 结构 等 的 定义 ， 就 相当 含糊 ， 缺 乏 统一 的 标准 。 这 样 就 使 得 在 
进行 软件 可 靠 性 数据 的 收集 时 ， 目 标 不 明确 ， 甚 至 无 从 下 手 。 z 

。 ”数据 收集 工作 的 连续 性 不 能 保证 。 可 靠 性 数据 的 收集 是 连续 的 长 期 的 过 程 ， 而 
且 需 要 投入 一 定 的 资金 、 人 力 、 时 间 ， 往 往 这 些 投入 会 在 软件 的 开发 计划 中 被 
忽略 ， 以 至 于 不 能 保证 可 靠 性 数据 收集 工作 的 正常 进行 。 

。 ”缺乏 有 效 的 数据 收集 手段 。 进 行 数据 收集 同样 需要 方便 实用 的 工具 ， 然 而 除 

了 在 可 芝 性 测试 方面 有 了 一 些 可 用 的 数据 收集 工具 外 ， 其 他 方面 的 工具 还 十 分 
缺乏 。 

。 ”数据 的 完整 性 不 能 保证 。 即使 可 舍 性 活动 计划 作 得 再 周密 ， 收 集 到 的 数据 仍 有 
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可 能 是 不 完全 的 ， 而 且 过 漏 的 数据 往往 会 影响 到 可 靠 性 评价 的 结果 。 

数据 质量 和 准确 性 不 能 保证 。 不 完全 的 排 错 及 诊断 ， 使 收集 的 数据 中 含有 不 少 
虚假 的 成 分 ， 它 们 不 能 正确 反映 软件 的 其 实 状况 。 使 用 不 准确 的 可 千 性 数据 进 
行 的 可 药性 评价 ， 误 差 有 可 能 会 比 利 用 可 架 性 模型 进行 预测 产生 的 误差 大 一 个 
数量 级 ， 这 说 明 数 据 质量 的 重要 性 。 


为 了 给 软件 可 靠 性 评价 提供 一 套 准 确 、 有 效 的 可 靠 性 数据 ， 有 必要 在 软件 工程 中 重 
视 软 件 可 昔 性 数据 的 收集 工作 ， 采 取 一 些 措施 尽量 解决 上 述 问 题 。 在 现 有 条 件 下 ， 可 行 
的 一 些 办 法 如 下 。 


及 早 确定 所 采用 的 可 靠 性 模型 ， 以 确定 澳 要 收集 的 可 靠 性 数据 ， 并 明确 定义 可 
生性 数据 规范 中 的 一 些 术语 和 记录 方法 ， 如 时 间 、 失 效 、 失 效 严重 程度 类 的 定 
义 ， 制 定 标 准 的 可 靠 性 数据 记录 和 统计 表格 等 。 

制定 可 实施 性 较 强 的 可 欧 性 数据 收集 计划 , 指定 专人 负责 , 抽取 部 分 开发 人 员 、 
质 基 保 证 人 人员、 测试 人 员 、 用 户 业 务 人 员 人 参加， 按照 统一 的 规范 收集 记录 可 靠 
性 数据 。 

重视 软件 测试 特别 是 可 靠 性 测试 产生 的 测试 数据 的 整理 和 分 析 ， 因 为 这 部 分 数 
据 是 用 模拟 软件 实际 运行 环境 的 方法 ， 模 拟 用 户 实际 操作 的 测试 用 例 测 试 软件 
系统 产生 的 数据 ， 对 软件 可 车 性 评价 和 预测 有 较 商 的 实用 价值 。 

充分 利用 数据 库 来 完成 可 靠 性 数据 的 存储 和 统计 分 析 。 一 方面 减少 数据 管理 的 
混乱 ， 一 方面 提高 数据 处 理 的 效率 。 


15.4.4 软件 可 靠 性 的 评估 和 预测 


软件 可 艇 性 的 评估 和 预测 的 主要 目的 ， 是 为 了 评 信 软件 系统 的 可 绍 性 状况 和 预测 将 
来 一 段 时 间 的 可 煞 性 水 平 , 下 面 是 一 些 常 见 的 寅 要 利用 软件 可 靠 性 评价 进行 解答 的 问题 。 


判断 是 否 达 到 了 可 季 性 目标 ， 是 否 达 到 了 软件 付 请 使 用 的 条 件 ， 是 否 达 到 了 中 
止 测试 的 条 件 。 

如 未 能 达到 ， 要 再 投入 多 少时 间 、 多 少 人 力 和 多 少 资 金 ， 达 到 可 媚 性 目标 或 投 
入 使 用 。 

在 软件 系统 投入 实际 运行 一 年 或 若干 时 间 后 ， 经 过 维护 、 升 级 、 修 改 ， 软 件 能 
否 达 到 交付 或 部 分 交付 用 户 使 用 的 可 区 性 水 平 。 


目前 有 不 少 支 持 软 件 可 千 性 估计 的 软件 工具 ， 我 们 只 要 将 收集 的 失效 数据 分 类 并 录 
入 ， 选 择 合适 的 可 艇 性 模型 就 可 以 获得 软件 可 加 性 的 评价 结果 。 


然而 ， 


对 于 那些 可 蕴 性 要 求 很 珊 的 系统 ， 必 须 进行 很 多 测试 才能 预计 出 高 置信 和 度 的 


可 靠 性 结果 ， 即 便 如 此 ， 仍 然 可 能 没有 任何 失效 发 生 。 没 有 失效 就 无 法 信 计 可 番 性 ， 不 
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能 认为 程序 的 可 靠 性 是 1.0。 除非 我 们 已 经 进行 了 完全 的 测试 , 否则 程序 不 失效 我 们 就 无 
法 做 出 估计 ， 而 完全 的 测试 几乎 总 是 不 可 能 的 。 如 果 在 测试 期 间 没 有 失效 发 生 ， 我 们 可 
以 简单 地 假设 测试 是 基于 二 项 式 分 布 的 ， 这 样 就 可 以 对 可 集 性 作 保 守 估 计 ， 也 可 以 赁 经 
验 ， 根据 无 故障 运行 的 测试 用 例 的 数量 ， 在 一 定 的 置信 度 水 平 上 ， 估 计 可 和 结 性 的 等 级 。 

软件 可 和 僻 性 评价 技术 和 方法 主要 依据 选用 的 软件 可 靠 性 模型 ， 其 来 源 于 统计 理论 。 
软件 可 靠 性 评估 和 预测 以 软件 可 靠 性 模型 分 析 为 主 ， 但 也 要 在 模型 之 外 运用 一 些 统计 技 
术 和 手段 对 可 入 性 数据 进行 分 析 ， 作为 可 紫竹 模型 的 补充 、 完善 和 修正 。 这 些 辅助 方法 
如 下 。 

e。 ”失效 数据 的 图 形 分 析 法 。 

运行 图 形 处 理 软 件 失 效 数据 ， 可 以 直观 地 帮助 我 们 进行 分 析 。 图 形 指标 如 下 。 

QD 累积 失效 个 数 图 形 ; 

@ 单位 时 间 段 内 的 失效 数 的 图 形 ; 

@) 失效 间 陋 时间 图 形 。 

。 ”试探 性 数据 分 析 技 术 (EDA )。 

对 于 失效 数据 图 形 进 行 一 定 的 数字 化 分 析 ， 能 发 现 和 揭示 出 数据 中 的 异常 。 对 可 靠 
性 分 析 有 用 的 如 下 。 : 

Q) 循环 相关 ，; 

@ 短期 内 失效 数 的 急剧 上 升 ; 

@ 失效 数 集中 的 时 间 段 。 

这 种 分 析 方 法 常 可 以 发 现 因 排 错 引 入 新 的 缺陷 、 数据 收集 的 质量 问题 及 时 间 域 的 错 
误 定 义 等 问题 。 

还 有 其 他 一 些 分 析 方 法 ， 这 里 就 不 一 一 装 述 了 。 


15.5 ”软件 的 可 靠 性 设计 与 管理 


15.5.1 软件 可 靠 性 设计 


在 测试 阶段 我 们 利用 测试 手段 收集 测试 数据 ， 并 利用 软件 可 靠 性 模型 ， 可 以 评估 或 
预测 软件 的 可 靠 性 , 这 些 软件 可 车 性 测试 活动 虽然 能 通过 查 错 - 排 错 活 动 有 限 地 改善 软件 
可 靠 性 ， 但 不 能 从 根本 上 提高 软件 的 可 殖 性 ， 也 难以 保证 软件 可 靠 性 ， 并 且 修 改 由 于 设 
计 导 致 的 软件 缺陷 ， 有 可 能 付出 比较 昂贵 的 代价 。 实 践 证 明 ， 保 障 软 件 可 靠 性 最 有 效 、 
最 经 济 、 韦 重要 的 手段 是 在 软件 设计 阶段 采取 措施 进行 可 靠 性 控制 。 为 了 从 根本 上 提高 
软件 的 可 和 轧 性 ， 降 低 软 件 后 期 修改 的 成 本 和 难度 ， 人 们 提出 了 可 人 靠 性 设计 的 概念 。 
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可 集 性 设计 其 实 就 是 在 常规 的 软件 设计 中 ， 应 用 各 种 方法 和 技术 ， 使 程序 设计 在 兼 
顾 用 户 的 功能 和 性 能 需求 的 同时 ， 全 面 满足 软件 的 可 靠 性 要 求 ， 即 采用 一 些 技术 手段 ， 
把 可 靠 性 “设计 ”到 软件 中 去 。 软 件 可 靠 性 设计 技术 就 是 以 提高 和 保障 软件 的 可 靠 性 为 
目的 ， 在 软件 设计 阶段 运用 的 一 种 特殊 的 设计 技术 。 

在 软件 工程 中 已 有 很 多 比较 成 熟 的 设计 技术 ， 如 结构 化 设计 、 模 块 化 设计 、 自 项 向 
下 设计 、 自 底 向 上 设计 等 ,这 些 技术 是 为 了 保障 软件 的 整体 质量 而 采用 的 ， 在 此 基础 上 ， 
为 了 进一步 提高 软件 的 可 靠 性 ， 通 常会 采用 一 些 特殊 设计 技术 。 有 虽然 软件 可 售 性 设计 技 
术 与 普 道 的 软件 设计 技术 没有 明显 的 界限 , 但 软件 可 靠 性 设计 仍 要 遵循 一 些 自己 的 原则 ; 

@ 软件 可 靠 性 设计 是 软件 设计 的 一 部 分 ， 必 须 在 软件 的 总 体 设 计 框 架 中 使 用 ， 并 
且 不 能 与 其 他 设计 原则 相 冲 突 。 

@ 软件 可 靠 性 设计 在 满足 提高 软件 质量 要 求 的 前 撮 下， 以 提高 和 保障 软件 可 靠 性 
为 最 终 目 标 。 

@ 软件 可 靠 性 设计 应 确定 软件 的 可 靠 性 目标 ， 不 能 无 限 扩大 化 ， 并 且 排 在 功能 度 、 
用 户 需 求 、 开 发 费用 之 后 考虑 。 

可 车 性 设计 概念 被 广 为 引 用 ， 但 并 没有 多 少 人 能 提出 非常 实用 并 且 广 泛 运用 的 可 和 舍 
性 设计 技术 。 一 般 来 说 ， 被 认可 的 且 具 有 应 用 前 景 的 软件 可 靠 性 设计 技术 主要 有 容错 设 
计 、 检 错 设计 、 降 低 复 杂 度 设计 等 技术 。 

1. 容错 设计 技术 

对 于 软件 失效 后 果 特 别 严重 的 场合 ， 如 飞机 的 飞行 控制 系统 、 空 中 交通 管制 系统 、 
核反应 堆 安全 控制 系统 等 , 可 采用 容错 设计 方法 。 常 用 的 软件 容错 技术 主要 有 三 种 方法 ; 
恢复 块 设计 、N 版 本 程序 设计 和 宛 余 设 计 。 

。 ”恢复 块 设计 。 

程序 的 执行 过 程 可 以 看 成 是 由 一 系列 操作 构成 的 ， 这 些 操作 又 可 由 更 小 的 操作 构 
成 。 恢复 块 设计 就 是 选择 一 组 操作 作为 容错 设计 单元 , 从 而 把 普通 的 程序 块 变 成 恢复 块 。 
被 选择 用 来 构造 恢复 块 的 程序 块 可 以 是 模块 、 过 程 、 子 程序 、 程 序 段 等 。 

一 个 恢复 块 包含 有 若干 个 功能 相同 、 设 计 差 异 的 程序 块 文本 ， 每 一 时 刻 有 一 个 文本 
处 于 运行 状态 。 一 旦 该 文本 出 现 故 障 ， 则 用 备份 立 本 加 以 替换 ， 从 而 构成 “动态 宛 余 "。 
软件 容错 的 恢复 块 方法 就 是 使 软件 包含 有 一 系列 恢复 块 。 

e  N 版 本 程序 设计 。 

N 版 本 程序 的 核心 是 通过 设计 出 多 个 模块 或 不 同 版 本 ， 对 于 相同 初始 条 件 和 相同 输 
入 的 操作 结果 ， 实 行 多 数 表 决 ， 防 止 其 中 某 一 软件 模块 /版 本 的 故障 提供 错误 的 服务 ， 以 
实现 软件 容错 。 为 使 此 种 容错 技术 具有 良好 的 结果 ， 必 须 注意 以 下 两 个 方面 ， 

Q@ 使 软件 的 需求 说 明 具 有 完全 性 和 精确 性 。 这 是 保证 软件 设计 错误 不 相关 的 前 提 。 


www.TopSage.com 


第 15 章 ”可靠 性 测试 $507 


因为 软件 的 需求 说 明 是 不 同 设计 组 织 和 人 员 的 惟一 共同 出 发 点 。 
@ 设计 全 过 程 的 不 相关 性 。 它 要 求 各 个 不 同 的 软件 设计 人 员 彼此 不 交流 ， 程 序 设 
计 使 用 不 同 的 算法 、 不 同 的 编程 语言 、 不 同 的 编译 程序 、 不 同 的 设计 工具 、 不 同 的 实现 
方法 和 不 同 的 测试 方法 。 为 了 彻底 保证 软件 设计 的 不 相关 性 ， 甚 至 提出 设计 人 员 应 具有 
不 同 的 受 教 育 背 景 ， 来 自 不 同 地 域 、 不 同 的 国家 。 
。 ”元 余 设计 。 
改善 软件 可 靠 性 的 一 个 重要 技术 是 元 余 设 计 。 在 而 件 系统 中 ， 在 主 运行 的 系统 之 外 
备用 额外 的 元 件 或 系统 ， 如 果 出 现 一 个 元 件 故障 或 系统 故障 ， 则 立即 更 换 宛 余 的 元 件 或 
切换 到 宛 余 的 系统 ， 则 该 硬件 系统 仍 可 以 维持 运行 。 在 软件 系统 中 ， 宛 余 技 术 的 运用 有 
所 区 别 。 如 果 我 们 采用 相同 两 套 软件 系统 作为 互 为 备份 ， 其 意义 不 大 ， 因 为 在 相同 的 运 
行 环境 中 ， 一 套 软件 出 故障 的 地 方 ， 另 外 一 套 也 一 定 会 出 现 故障 。 软 件 的 宛 余 设计 技术 
实现 的 原理 是 在 一 套 完整 的 软件 系统 之 外 ， 设 计 一 种 不 同 路 径 、 不 同 算法 或 不 同 实现 广 
法 的 模块 或 系统 作为 备份 ， 在 出 现 故障 时 可 以 使 用 宛 余 的 部 分 进行 替换 ， 从 而 维持 软件 
系统 的 正常 运行 。 
从 表面 上 看 ， 设 计 开 发 完成 同样 功能 但 实现 方法 完全 不 同 的 两 套 软 件 系统 ， 融 要 的 
费用 可 能 接近 于 单个 版 本 软件 开发 费用 的 两 倍 ， 但 采用 宛 余 技术 设计 软件 所 增加 的 额外 
费用 肯定 远 低 于 重新 设计 一 个 版 本 软件 的 费用 。 这 是 因为 大 多 数 设计 花费 ， 例 如 文档 、 
测试 以 及 人 力 都 是 有 可 能 复 用 的 。 宛 余 设计 还 有 可 能 导致 软件 运行 时 所 花费 的 存储 空间 、 
内 存 消耗 以 及 运行 时 间 有 所 增加 ,这 就 需要 在 可 靠 性 要 求 和 额外 付出 代价 之 间作 出 折衷 。 
2， 检 错 技术 
在 软件 系统 中 ， 无 需 在 线 容错 的 地 方 ， 或 不 能 采用 元 余 设计 技术 的 部 分 ， 如 果 对 可 
靠 性 要 求 较 高 ， 故 障 有 可 能 导致 严重 的 后 果 ， 一 般 采 用 检 错 技术 ， 在 软件 出 现 故障 后 能 
及 时 发 现 并 报警 ， 提 醒 维护 人 员 进 行 处 理 。 检 错 技术 实现 的 代价 一 般 低 于 容错 技术 和 爷 
余 技术 ， 但 它 有 一 个 明显 的 缺点 ， 就 是 不 能 自动 解决 故障 ， 出 现 故 障 后 如 果 不 进 行人 工 
干预 ， 将 最 终 导 致 软件 系统 不 能 正常 运行 。 
采用 检 错 设计 技术 要 着 重 考虑 几 个 要 素 ， 检 测 对 象 、 检 测 延 时 、 实 现 方式 、 处 理 
方式 。 
。 ”检测 对 象 ， 检 测 对 象 包含 两 个 层次 的 含义 ， 检 测 点 和 检测 内 容 。 在 设计 时 应 考 
虑 把 检测 点 放 在 容易 出 错 的 地 方 ， 和 出 错 对 软件 系统 影响 较 大 的 地 方 ， 检测 内 
容 选取 那些 有 代表 性 的 、 易 于 判断 的 指标 。 

。 ”检测 延 时 ， 从 软件 发 生 故障 到 被 自 检 出 来 是 有 一 定 延 时 的 ， 这 段 延 时 的 长 短 对 
故障 的 处 理 是 非常 重要 的 ， 因 此 ， 在 软件 检 错 设计 时 要 充分 考虑 到 检测 延 时 。 
如 果 延 时 长 到 影响 故障 的 及 时 报警 ， 则 需要 更 换 检测 对 象 或 检测 方式 。 
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” 。 ”实现 方式 : 最 直接 的 一 种 实现 方式 是 判断 返回 结果 ， 如 果 返 回 结果 超出 正常 范 
围 ， 则 进行 异常 处 理 。 计 算 运 行 时 间 也 是 一 种 常用 的 技术 ， 如 果 某 个 模块 或 函 
数 运行 超过 预期 的 时 间 ， 可 以 判断 出 现 故 障 。 另 外 ， 还 有 置 状 态 标 志 位 等 多 种 
方法 ， 目 检 的 实现 方式 要 根据 实际 情况 来 选用 。 
。 ”处 理 方式 : 大 多 数 检 错 采 用 “ 碍 出 故障 -停止 软件 系统 运行 -报警 ”的 处 理 方式 ， 
但 也 有 采用 不 停止 或 部 分 停止 软件 系统 运行 的 情况 ， 这 一 般 由 故障 是 否 需 要 实 
时 处 理 来 决定 。 
3， 降 低 复 好 度 设 计 
前 面 我 们 讲 到 ， 软件 和 硬件 最 大 的 区 别 之 一 就 是 软件 的 内 部 结构 比 硬件 复杂 得 多 ， 
我 们 用 软件 复杂 度 来 定量 描述 软件 的 复杂 程度 。 软 件 复杂 性 常 分 为 模块 复杂 性 和 结构 复 
巡 性 。 模 块 复 欢 性 主要 包含 模块 内 部 数据 流风 和 程序 长 度 两 个 方面 ， 结 构 复 杂 性 用 不 同 
模块 之 间 的 关联 程度 来 表示 。 软 件 复杂 度 可 用 涉及 到 模块 复杂 性 和 结构 复杂 性 的 一 些 统 
计 指 标 来 进行 定量 描述 ， 在 这 里 就 不 进行 详细 叙述 了 。 
软件 的 复杂 性 与 软件 可 靠 性 有 着 密切 的 关系 ， 软 件 复杂 性 是 产生 软件 缺陷 的 重要 根 
源 ， 有 研究 表明 ， 当 软件 的 复杂 度 超过 一 定 曾 限时， 软件 缺陷 数 会 急剧 上 升 ， 软 件 的 可 
靠 性 急剧 下 降 。 因 此 ， 在 设计 的 时 候 就 应 考虑 降低 软件 的 复杂 性 ， 使 之 处 于 一 个 合理 的 
阅 值 之 内 ， 这 是 提 融 软件 可 能 性 的 有 效 方法 。 
降低 复杂 度 设 计 的 思想 就 是 在 保证 实现 软件 功能 的 基础 上 ， 简 化 软件 结构 ， 缩 短程 
序 代 码 长 度 ， 优 化 软件 数据 流向 ， 降 低 软 件 复杂 度 ， 从 而 提高 软件 可 靠 性 。 
除了 容错 设计 、 检 错 设 计 和 降低 复杂 度 设计 技术 外 ， 人 们 尝试 着 把 硬件 可 靠 性 设计 
中 比较 成 熟 的 技术 ， 如 故障 树 分 析 (FTA)、 失 效 模式 与 效应 分 析 (FMEA) 等 运用 到 软 
件 可 靠 性 设计 领域 ， 这 些 技术 大 多 是 运用 一 些 分 析 、 预 测 技术 ， 在 软件 设计 时 就 充分 考 ， 
虑 影响 软件 可 区 性 的 因素 ， 并 采取 一 些 措施 地 进行 优化 。 由 于 软件 与 硬件 内 部 性 质 的 巨 
大 差异 ， 这 些 技术 在 软件 可 靠 性 设计 领域 的 应 用 效果 和 范围 极其 有 限 。 


15.5.2 ”软件 可 靠 性 管理 


为 了 进一步 提高 软件 可 靠 性 ， 人 们 又 提出 了 软件 可 靠 性 管理 的 概念 ， 把 软件 可 靠 性 
活动 贯穿 于 软件 开发 的 全 过 程 。 

软件 可 靠 性 管理 是 软件 工程 管理 的 一 部 分 ， 它 以 全 面 提 融 和 保证 软件 可 勾 性 为 目 
标 ， 以 软件 可 和 僻 性 活动 为 主要 对 象 ， 是 把 现代 管理 理论 用 于 软件 生命 周期 中 的 可 靠 性 保 
障 活动 的 一 种 管理 形式 。 

软件 可 靠 性 管理 的 内 容 包 括 软 件 工程 各 个 阶段 的 可 竺 性 活动 的 目标 、 计 划 、 进 度 、 
任务 、 修 正 措施 等 。 
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软件 工程 各 个 阶段 可 能 进行 的 主要 的 软件 可 靠 性 活动 如 下 所 述 。 由 于 软件 之 间 的 差 
寞 较 大 ， 并 且 人 们 对 可 靠 性 的 期 望 不 同 ， 对 可 靠 性 的 投入 不 同 ， 所 以 下 面 的 每 项 活动 并 
不 是 每 一 个 软件 系统 的 可 靠 性 管理 的 必须 内 容 ， 也 不 是 软件 可 靠 性 管理 的 全 部 内 容 。 
1。 需求 分 析 阶 段 
确定 软件 的 可 靠 性 目标 ; 
分 析 可 能 影响 可 靠 性 的 因素 ; 
确定 可 靠 性 的 验收 标准 ; 
制定 可 靠 性 管理 框 染 ; 
制定 可 靠 性 文档 编写 规范 ; 
制定 可 靠 性 活动 初步 计划 ; 
确定 可 靠 性 数据 收集 规范 。 
.概要 设计 阶段 
确定 可 靠 性 度量 ， 
制定 详细 的 可 靠 性 验收 方案 ; 
可 靠 性 设计 ; 
收集 可 靠 性 数据 ; 
调整 可 靠 性 活动 计划 ， 
明确 后 续 阶 段 的 可 靠 性 活动 的 详细 计划 ， 
编制 可 靠 性 文档 。 
。 详细 设计 阶段 
可 靠 性 设计 ; 
可 和 团 性 预测 〈 确 定 可 于 性 度量 估计 值 ); 
调整 可 靠 性 活动 计划 ; 
收集 可 靠 性 数据 ; 
明确 后 续 阶 段 的 可 靠 性 活动 的 详细 计划 ，; 
编制 可 靠 性 文档 。 
4. 编码 阶段 
可 靠 性 测试 ( 含 于 单元 测试 ); 
排 错 ; 
调整 可 靠 性 活动 计划 ; 
收集 可 入 性 数据 ; 
明确 后 续 阶 段 的 可 靠 性 活动 的 详细 计划 ; 
编制 可 靠 性 文档 。 


S PP 0 0 0 0 Ww 0 0 0 0 0 WW 0 0 0 SS 0 
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5。 测试 阶段 

。 可靠 性 测试 ( 含 于 集成 测试 、 系 统 测试 ); 
全 排 错 ; 

全 可 菲 性 建 模 ; 
。 可靠 性 评价 ; 

。 调整 可 靠 性 活动 计划 ; 

。 收集 可 靠 性 数据 ; 

e。 ”明确 后 续 阶 段 的 可 靠 性 活动 的 详细 计划 ; 

。 编制 可 般 性 文档 。 

6， 买 施 阶段 

。 可靠 性 测试 〈 含 于 验收 测试 ); 

. 排 错 ; 

。 ”收集 可 靠 性 数据 ; 

全 调整 可 靠 性 模型 

。 可靠 性 评价 : 

。 编制 可 靠 性 文档 。 

可 靠 性 管理 目前 还 停留 在 定性 描述 的 水 平 上 ， 很 难 用 量化 的 指标 来 进行 可 靠 性 管 
理 。 可 菲 性 管理 规范 的 制定 水 平和 实施 效果 也 有 待 提 高。 怎样 利用 有 限 的 可 靠 性 投入 ， 
达到 预期 的 可 靠 性 目标 是 软件 项 目 管理 者 常常 要 面 对 的 难题 。 因 此 ， 可 靠 性 管理 研究 是 
一 个 长 期 的 课题 。 
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软件 产品 由 可 运行 的 程序 、 数 据 和 文档 组 成 。 文 档 是 软件 的 一 个 重要 组 成 部 分 。 

在 软件 的 整个 生命 周期 中 ， 会 用 到 许多 文档 ， 在 各 个 阶段 中 以 文档 作为 前 阶段 工作 
成 果 的 体现 和 后 阶段 工作 的 依据 。 在 软件 的 开发 过 程 中 ， 软 件 开发 人 员 需 根据 工作 计划 
和 需求 说 明 书 由 粗 而 细 地 进行 设计 ， 这 些 需 求 说 明 书 种 设计 说 明 书 构成 了 开发 文档 。 为 
了 使 用 户 了 解 软件 的 使 用 、 操 作 和 对 软件 进行 维护 ， 软 件 开发 人 员 需 要 为 用 户 提供 详细 
的 资料 ， 这 些 资料 称 为 用 户 文档 。 而 为 了 使 管理 人 员 及 整个 软件 开发 项 目 组 了 解 软 件 开 
发 项 目 安排 、 进 度 、 资 源 使 用 和 成 果 等 ， 还 需要 制定 和 编写 一 些 工作 计划 或 工作 报告 ， 
这 些 计划 和 报告 构成 了 管理 文档 。 软 件 文档 的 分 类 结构 图 如 图 16-1 所 示 。 

用 户 手册 


用 户 文档 | 操作 手册 
维护 修改 建议 


软件 需求 说 明 书 
数据 库 设计 说 明 书 
文档 ran | Bn 
详细 设计 说 明 书 ，. 
可 行 性 研究 报告 
项 目 开 发 计划 
| 测试 计划 
“管理 文档 ”测试 报告 . 
. ”| 开发 进度 月 报 
开发 总 结 报告 
图 16-1 软件 的 文档 分 类 结构 图 


下 面 对 这 些 文档 进行 一 些 说 明 。 

。 可 行 性 研究 报告 .说 明 该 软件 开发 项 目的 实现 在 技术 上 、 经 济 上 和 社会 因素 上 
的 可 行 性 ， 评 述 为 了 合理 地 达到 开发 目标 可 供 选择 的 各 种 可 能 实施 的 方案 ， 说 
明 并 论证 所 选 定 实施 方案 的 理由 。 

。 项 目 开发 计划 : 为 软件 项 目 实施 方案 制定 出 具体 计划 ， 应 该 包括 各 部 分 工作 的 
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负责 人 员 、 开 发 的 进度 、 开 发 经 费 的 预算 、 所 需 的 硬件 及 软件 资源 等 。 项 目 开 
发 计划 应 提供 给 管理 部 门 ， 并 作为 开发 阶段 评审 的 参考 。 
。 软件 需求 说 明 书 :也 称 软件 规格 说 明 书 ， 其 中 对 所 开发 软件 的 功能 、 性 能 、 用 
户 界面 及 运行 环境 等 作出 详细 的 说 明 。 它 是 用 户 与 开发 人 员 双 方 对 软件 需求 取 
得 共同 理解 的 基础 上 达成 的 协议 ， 也 是 实施 开发 工作 的 基础 。 
。 数据 库 设计 说 明 书 ， 只 对 使 用 数据 库 的 软件 适用 ,该 说 明 书 应 给 出 数据 库 的 整 
体 架构 及 各 个 数据 表 中 的 逻辑 关系 。 
。 概要 设计 说 明 书 ， 该 说 明 书 是 概要 设计 阶段 的 工作 成 果 ,. 它 应 说 明 功 能 分 配 、 
”模块 划分 、 程 序 的 总 体 结 构 、 输 入 输出 以 及 接口 设计 、 运 行 设计 、 数 据 结构 设 
'，: ” 计 和 出 错 处 理 设计 等 ， 为 详细 设计 商定 基础 。 
. 详细 设计 说 明 书 : 着 重 描述 每 一 模块 是 怎样 实现 的 ， 包 括 实现 算法 、 逻 辑 流 
2 
e。 用 户 手 册 :， 本 手册 详细 描述 软件 的 功能 、 性 能 和 用 户 界面 使 用 户 了 解 如 何 使 
“用 该 软件 。 
。 测试 计划 : 计划 应 包括 测试 的 内 容 、 进 度 、 条 件 、 人 员 、 测 试用 例 的 选取 原则 、 
测试 结果 允许 的 偏差 范围 等 。 z 
。 测试 分 析 报 告 ， 测 试 工作 完成 以 后 ， 应 提交 测试 计划 执行 情况 的 说 明 。 对 测试 
结果 加 以 分 析 ， 并 提出 测试 的 结论 意见 。 
。 开发 进度 月 报 ， 该 月 报 是 软件 人 员 按 月 向 管理 部 门 提交 的 项 目 进展 情况 报告 。 
报告 应 包括 进度 计划 与 实际 执行 情况 的 比较 、 阶 段 成 果 、 遇 到 的 问题 和 解决 的 
办 法 以 及 下 个 月 的 打算 等 。 
。 项 目 开发 总 结 报告 ， 软 件 项 目 开 发 完成 以 后 ， 应 与 项 目 实施 计划 对 照 ， 总 结实 
际 执行 的 情况 ， 如 进度 、 成 果 、 资 源 利 用 、 成 本 和 投入 的 人 力 。 此 外 还 需 对 开 
发 工作 作出 评价 ， 总 结 出 经 验 和 教训 。 
。 ”操作 手册 : 本 手册 为 操作 人 员 提供 该 软件 各 种 运行 情况 的 有 关 知 识 ， 特 别 是 操 
作 方 法 的 具体 细节 。 
。 ”维护 修改 建议 ， 软 件 产品 投入 运行 以 后 ， 发 现 了 需 对 其 进行 修正 、 更 改 等 的 问 
， 题 ， 应 将 存在 的 问题 、 修改 的 考虑 以 及 修改 的 估计 影响 作 详 细 的 描述 ， 写 成 维 
护 修改 建议 ， 提 交 审 批 。 
以 上 这 些 文档 是 在 软件 生存 期 中 ， 随 着 各 阶段 工作 的 开展 适时 编制 的 。 其 中 有 的 仅 
反映 一 个 阶段 的 工作 ， 有 的 则 需 跨越 多 个 阶段 。 
开发 文档 的 测试 在 “软件 生命 周期 测试 策略 ”一 章 中 已 进行 了 详 述 , 这 里 不 再 重复 ， 
本 章 以 下 部 分 将 主要 就 用 户 文档 的 测试 进行 描述 。 


www.TopSage.com 


16.2 


第 16 章 文档 测试 l 513 


用 户 文档 的 内 容 


当 用 户 文档 仅 包含 一 个 Readme 文件 时 ， 文 档 的 测试 只 需要 对 其 进行 拼写 检查 ， 确 
认 其 中 水 及 到 的 技术 准确 无 误 ， 最 多 对 Readme 文件 进行 病毒 扫 措 ， 确 保 其 不 带 病 玫 这- 


下 够 了 。 


但 随 着 技术 的 进步 和 市 场 的 规范 ， 用 户 文档 的 范围 越 来 越 大 了 ， 以 下 这 些 都 可 以 算 
是 用 户 文档 。 并 不 是 每 一 个 软件 都 必须 具有 所 有 这 些 文档 ， 但 大 多 不 出 此 列 。 


包装 上 的 文字 和 图 案 。 包 插 纸 盒 、 包 装 纸 或 信封 等 。 这 些 包装 上 可 能 含有 软件 
的 屏 苦 截图 、 特 性 消 单 、 系 统 要 求 和 版 权 信 息 等 。 A 

宣传 材料 、 广 告 及 其 他 插页 。 这 些 是 软件 开发 者 促进 其 相关 软件 销售 的 重要 工 
作 ， 同 时 提供 补充 内 容 、 其 他 软件 介绍 和 服务 联系 方式 等 。 虽 然 对 于 一 些 用 户 
来 说 ， 可 能 会 随手 天 天 ， 0 已 们 ， 因 此 这 些 信 
息 也 必须 正确 。 

授权 /注册 登记 表 。 这 是 希望 用 户 填写 内 容 、 注册 软件 并 寄 回 的 卡片 ， 它 同样 作 ， 
为 软件 的 一 部 分 ， 也 可 能 是 电子 文档 ， 让 用 户 在 线 阅读 及 注册 。 

最 终 用 户 许可 协议 。 这 是 要 求 用 户 在 使 用 软件 前 认可 的 一 份 法 律 文书 ， 包 括 用 
户 同意 不 得 复制 软件 等 内 容 。 最 终 用 户 许可 协议 可 能 是 打印 在 软盘 或 光盘 的 盒 
子 上 ， 或 信封 上 ， 也 有 可 能 是 在 安装 过 程 中 弹出 一 个 窗口 显示 在 屏幕 上 。 
标签 和 不 干 胶 条 。 这 类 文档 可 能 是 软盘 或 光盘 上 的 标签 ， 或 出 现在 包装 合 上 、 
印刷 的 材料 上 ， 像 序列 号 、 | 人 
要 测试 的 。 


”安装 和 设置 指导 。 对 于 简单 的 软件 来 说 ， 可 能 是 包装 中 的 一 页 纸 ， 对 于 复杂 罗 


件 来 说 , .就 有 可 能 是 完整 的 一 本 手册 了 。 

用 户 手册 。 由 于 电子 手册 的 实用 性 和 灵活 性 ， 使 纸 介质 的 手册 已 大 大 减少 了 。 
目前 一 些 软件 附带 简明 的 “入 门 ” 类 小 册子 ， 而 详细 信息 往往 采用 电子 文档 。 
电子 手册 大 都 以 光盘 形式 随 软件 销售 ， 也 有 的 在 网 站 上 供用 户 下 载 。 

联机 帮助 。 联 机 帮助 与 用 户 手册 有 时 可 以 互 换 使 用 ， 甚 至 取代 用 户 手册 。 由 于 

人 di el 

更 方便 了 用 户 查找 所 禹 信息 。 

指南 、 向 导 。 这 些 工具 已 不 仅仅 是 一 页 一 页 的 文档 ， 它 们 是 文本 内 容 和 程序 的 

结合 ， 通 常 属 于 联机 帮助 的 一 部 分 。 用 户 可 以 提出 问题 ， 然 后 向 导 将 一 步 步 引 

导 用 户 完成 任务 。 关 于 向 导 的 例子 可 以 参考 微软 Office 的 助手 功能 。 
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样 例 、 示 例 和 模板 。 字 处 理 、 网 页 制作 等 软件 往往 带 有 表单 或 样 例 ， 用 户 只 需 
填写 相应 内 容 即 可 快速 达到 具有 专业 外 观 的 效果 。 编 译 器 可 以 用 几 段 代码 来 演 
示 如 何 使 用 编程 语言 的 某 些 方面 。 财 务 软 件 可 以 通过 模拟 账 套 来 解释 软件 的 使 


用 方法 。 


错误 提示 信息 。 这 虽然 是 软件 程序 的 一 部 分 ， 但 在 程序 测试 中 往往 被 名 咯 ， 而 
BTA 


用 户 文档 的 作用 


对 于 软件 测试 人 员 来 说 ， 对 行 用 户 文档 要 像 对 符 程 序 一 桩 给 予 同等 关注 和 投入 ， 因 
为 对 于 用 户 来 说 ， 文 档 和 程序 同样 重要 。 
充分 有 效 的 文档 有 如 下 优点。 


改善 易 安 装 性 。 用 户 需 要 将 软件 产品 安装 到 自己 的 计算 机 上 。 他 们 可 能 需要 做 
复制 文件 、 配 置 数 据 库 、 输 入 初始 参数 、 将 以 前 的 数据 导入 等 大 量 工作 。 安 装 
程序 是 最 后 编写 的 ,开发 人 员 可 能 不 会 像 对 待产 品 的 其 他 部 分 一 样 认 真 对 待 它 ， 
因为 一 些 人 认为 用 户 仅 会 安装 程序 一 两 次 而 已 ， 因 此 安装 程序 得 到 的 测试 和 开 
发 支持 最 少 。 然 而， 用 户 对 产品 的 急 次 体验 是 从 软件 的 安装 开始 的 ， 如 果 在 安 
装 时 遇 到 了 困难 ， 用 户 可 能 会 对 软件 失去 信心 ， 或 提出 昂贵 的 技术 支持 要 求 ， 
或 干脆 放弃 使 用 软件 。 清 晰 、 正 确 的 安装 指南 是 产品 文档 中 最 为 重要 的 部 分 
i 

提高 软件 的 易 用 性 。 具备 优良 文档 的 产品 更 易于 使 用 。 文档 编制 得 越 好 ， 用 户 
对 产品 的 理解 就 越 快 ， 操 作 中 发 生 的 理解 方面 的 错误 就 越 少 ， 效 率 就 越 高 。 高 
效 的 文档 往往 是 面向 任务 的 ， 它 会 估计 用 户 意图 ， 并 说 明 如 何 完 成 各 项 任务 。 
并 不 是 说 面向 特征 的 用 户 手 册 就 不 好 ， 面 同 特征 的 用 户 手 册 会 独立 地 描述 功能 
特征 ， 按 菜单 顺序 ， 甚 至 按 字 母 顺序 逐个 描述 功能 。 不 同 的 软件 类 型 适用 于 不 
同 的 手册 类 和 型， 一些 软件 会 同时 提供 这 两 类 手册 。 

改善 软件 可 靠 性 。 不 清晰 、 不 正确 的 文档 会 降低 产品 的 可 靠 性 ， 用 户 使 用 它 容 
易 出 现 操作 上 的 错 误 。 优 秀 的 文档 即使 在 程序 设计 得 很 糟 粹 的 情况 下 ， 也 能 有 
助 于 减少 用 户 犯 错 次 数 。 

促进 销路 。 高 质量 的 文档 弟 会 被 作为 卖 护 ， 可 以 和 助 销售 人 员 说 明和 推荐 产品 。 
在 很 多 软件 评审 中 它 也 扮演 着重 要 的 角色 。 

降低 技术 支持 的 费用 。 由 用 书 发 现 问 题 比 在 产品 开发 早期 发 现 问题 的 修复 费用 
要 高 出 数 十 倍 。 好 的 文档 能 够 通过 怡 当 的 解释 引导 用 户 自己 解决 问题 ， 尽 可 能 
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地 避免 用 户 打 技术 支持 电话 。 如 果 用 户 文 档 描 述 了 程序 不 具备 的 功能 ， 开 发 商 
就 是 在 作 和 虚假 的 宣传 ， 如 果 用 户 文档 描述 了 实际 上 无 法 执行 的 操作 ， 则 开发 商 
是 在 误导 用 户 。 不 正确 的 指导 会 浪费 用 户 不 必要 的 时 间 和 精力 ， 也 给 开发 商 增 
加 了 法 律 上 的 风险 。 


用 只 文档 测试 需要 注意 的 问题 


对 于 软件 用 户 来 说 ， 程 序 之 外 的 部 分 也 是 软件 的 一 部 分 ， 他 们 并 不 管 这 些 东西 是 由 
程序 员 、 作 家 还 是 图 形 艺术 家 创建 的 。 他 们 关心 的 是 整个 软件 包 的 质量 。 
文档 测试 中 需要 注意 如 下 问题 。 


文档 常常 得 不 到 足够 的 重视 ， 文 档 的 开发 缺乏 足够 的 资金 和 技术 支持 ， 而 文档 
的 测试 更 得 不 到 重视 。 一 个 好 的 软件 项 目 ， 一 定 要 为 文档 测试 留 出 预算 ， 像 对 
程序 一 样 对 文档 给 予 关注 。 对 文档 中 发 现 的 缺陷 ， 也 需 像 发 现 程序 缺陷 一 样 
给 出 报告 。 

编写 文档 的 人 可 能 并 不 是 软件 特性 方面 的 专家 ， 对 软件 功能 可 能 了 解 得 并 不 深 
入 。 其 结果 就 是 写 出 来 的 产品 说 明 书 可 能 并 不 到 位 ， 或 者 不 能 解释 复杂 的 产品 
特性 。 软 件 文档 测试 人 员 可 以 与 文档 作者 紧密 合作 ， 保 证 文档 中 所 包含 信息 的 
质量 ， 并 随 着 产品 的 更 新 而 更 新 。 更 重要 的 是 ， 测 试 人 员 可 以 发 现 并 指出 程序 
中 难以 使 用 或 难以 理解 之 处 ， 让 文档 作者 在 文档 中 作出 更 好 的 解释 。 

由 于 文档 的 印刷 需要 花费 不 少 的 时 间 ， 可 能 是 几 周 ， 如 果 追 求 印刷 质量 的 话 可 
能 需要 几 个 月 。 而 在 这 段 时间 内 ， 软 件 发 现 的 错误 可 以 有 时 间 修 改 ， 程 序 很 可 
能 已 经 发 生 了 改变 ， 而 文档 无 法 反映 最 终 的 修改 。Readme 文件 的 发 明正 因为 如 
此 ， 它 是 将 最 后 的 改动 通知 用 户 的 方式 。 它 能 使 文档 保持 到 最 后 一 刻 发 布 ， 从 
而 保证 与 软件 程序 的 同步 。 同 时 ， 随 软件 发 布 的 联机 帮助 信息 也 可 以 尽 可 能 地 反 
映 最 新 的 修改 。 如 果 文档 测试 不 够 充分 ， 大 量 的 错误 将 不 得 不 随 着 印刷 精美 的 手 
册 到 达 用 户 手中 ， 而 Readme 文件 就 不 是 最 新 特性 的 发 布 而 是 长 长 的 勘误 表 了 。 
文档 测试 不 仅仅 是 对 文字 的 校对 ， 更 可 以 辅助 找到 更 多 的 程序 错误 。 文 档 编写 
人 员 与 文档 测试 人 员 审 视 程 序 的 角度 与 程序 员 和 程序 测试 人 员 并 不 相同 ， 因 此 
由 文档 测试 揭示 的 问题 也 不 同 于 程序 员 和 程序 测试 人 员 所 发 现 的 问题 ， 文 档 测 
试 往往 会 发 现 其 他 测试 无 法 发 现 的 严重 错误 ， 例 如 ， 功 能 实现 错误 、 易 用 性 不 
好 、 用 户 手册 与 程序 实现 不 吻合 等 问题 。 当 然 ， 这 是 在 全 面 测 试 的 基础 上 ， 而 
全 面 测 试 意味 着 每 3~5 页 花费 1 小 时 的 时 间 。 测 试 人 员 审 看 文档 的 速度 越 快 ， 
从 文档 和 程序 中 发 现 问 题 的 机 会 就 越 少 。 加 强 测试 监督 、 重 新 培训 测试 人 员 ， 
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甚至 更 换 测 试 人 员 能 有 助 于 解决 这 一 问题 。 


16.5 用 户 文档 测试 的 要 点 


文档 测试 分 为 两 类 ， 如 果 是 非 程序 ， 例 如 打印 的 手册 或 产品 包装 盒 ， 其 测试 可 以 视 
为 技术 校对 。 如 果 文档 和 程序 紧密 结合 ， 例 如 超 链接 形式 的 电子 手册 或 联机 帮助 ， 或 助 
手 一 类 的 帮助 系统 ， 就 要 进行 与 程序 测试 类 似 的 测试 。 

无 论 是 文档 或 是 程序 ， 作 为 文档 测试 人 员 ， 都 必须 像 用 户 那 样 对 待 它 ， 应 该 说 像 最 
仔细 的 用 户 那 样 ， 认 真 阅读 ， 跟 随 每 个 步骤 ,检查 每 个 图 形 ， 尝 试 每 个 示例 。 只 有 这 样 ， 
才能 尽 可 能 找 出 软件 和 文档 中 的 缺陷 。 

文档 测试 中 ， 对 于 如 下 几 个 方面 需要 特别 关注 。 


读者 群 。 文 档 面向 的 读者 定位 要 明确 。 对 于 初级 用 户 ， 可 能 需要 从 鼠标 的 用 法 、 
点 击 确定 按钮 等 讲 起 ， 对 于 中 级 用 户 ， 重 要 界面 的 截图 和 关键 步骤 每 一 个 参数 
的 选择 方法 都 需要 介绍 ， 对 于 两 级 用 户 ， 则 没有 必要 给 出 太 多 的 界面 截图 ， 但 
对 重要 参数 的 讲解 一 定 要 深入 ， 用 词 要 专业 。 特 别 是 不 论 用 户 群 定 位 如 何 ， 文 
档 者 不 可 以 写成 散文 、 诗 歌 或 者 侦探 、 宦 情 小 说 ， 文 档 的 目的 是 要 让 用 户 看 得 
慌 ， 能 理解 。 

术语 。 文 档 中 用 到 的 术语 要 适用 于 定位 的 读者 群 ， 用 法 一 致 ， 标 准 定义 与 业界 


”规范 相 吻 合 。 如 果 有 索引 或 交叉 引用 ， 所 有 的 术语 都 应 能 够 进行 案 引 和 交叉 引 


用 。 如 果 术 语 较 多 ， 在 纸 介质 手册 的 末尾 应 给 出 术语 索引 ， 如 果 被 测 软件 提供 
二 次 开发 功能 ， 有 大 量 函 数 ， 则 有 必要 编写 独立 的 函数 手册 和 开发 指南 。 
正确 性 。 这 是 非常 重要 的 ， 会 占用 文档 测试 的 大 量 时 间 和 人 力 。 测 试 中 需 检 查 


所 有 信息 是 否 真实 正确 ， 查 找 由 于 过 期 产品 说 明 书 和 销售 人 员 夸 大 事实 而 导致 


的 错误 。 检 查 所 有 的 目录 、 索 引 和 章节 引用 是 否 已 更 新 ， 尝 试 链接 是 否 准确 ， 
产品 支持 电话 、 地 址 和 邮政 编码 是 否 正确 。 

完整 性 。 慢 慢 地 仔细 阅读 文字 ， 完 全 根据 提示 进行 操作 ， 不 要 作 任 何 假设 。 对 
照 软件 界面 检查 是 否 有 重要 的 分 支 没有 摘 述 到 ， 甚 至 是 否 有 整个 大 模块 没有 描 
述 到 ， 耐 心 补充 坦 漏 的 步骤 。 用 户 不 会 知道 遗漏 了 什么 信息 , 直到 有 一 天 他 使 
用 软件 时 走 到 了 这 个 分 支 。 对 于 极其 鸡 悉 饼 测 软件 的 人 来 说 ， 这 项 测试 相当 困 
难 ， 因 为 思路 已 固定 地 按照 一 定 的 流程 去 测试 ， 极 易 忽 略 不 常用 的 部 分 。 因 此 ， 
可 以 考虑 让 不 是 很 熟悉 被 测 软件 的 人 员 进行 此 项 目的 测试 。 

一 致 性 。 按 照 文档 描述 的 操作 执行 后 ， 检 查 软 件 返 回 的 结果 是 否 与 文档 描述 相 
同 。 要 留意 软件 界面 上 出 现 的 版 本 号 与 手册 、 帮 助 上 的 信息 是 否 一 致 。 
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。 易 用 性 。 纸 介质 文档 可 以 通过 目录 、 关 键 词 索引 提高 用 户 使 用 的 易 用 性 。 条 理 
清晰 、 结 构 合 理 的 文档 是 优质 软件 的 一 个 显著 特征 。 对 关键 步骤 以 粗 体 或 月 景 
色 给 用 户 以 提示 , .合理 的 页 面 布局 、 适 量 的 图 家 都 可 以 给 用 户 更 高 的 易 用 性 。 
电子 文档 或 帮助 系统 显然 比 纸 介质 在 这 方面 有 更 大 的 优势 。 需要 注意 的 是 ， 文 
档 要 有 助 于 用 户 排除 错误 ， 只 描述 正确 操作 而 不 描述 错误 处 理 办 法 的 文档 是 不 
负责 任 的 。 与 程序 大 多 用 于 错误 处 理 一 样 ， 文 档 对 于 用 户 看 到 的 错误 信息 应 当 
有 更 详细 的 文档 解释 ,而 且 不 应 让 用 户 花 费 太 多 的 时 间 去 寻找 所 知 的 解释 。 

。 图表 与 界面 截图 。 检 查 所 有 图 表 与 界面 截图 是 否 与 发 行 版 本 相同 。 对 于 成 熟 的 
软件 开发 商 来 说 ， 界 面 在 设计 阶段 就 应 基本 确定 ， 不 应 在 软件 开发 后 期 有 大 的 
变动 。 而 此 项 测试 就 是 要 发 现在 文档 完成 后 是 否 有 界面 变动 ， 确 保 屏 医 截 图 源 
于 发 行 版 本 。 测 试 中 还 要 注意 图 表 标 题 的 正确 性 。 

。 样 例 和 示例 。 像 用 户 一 样 载 入 和 使 用 样 例 。 如 果 是 一 段 程 序 ， 就 输入 数据 并 执 
行 它 。 以 每 一 个 模板 制作 文件 ， 确 认 它 们 的 正确 性 。 人 
问题 交 给 技术 支持 人 员 时 的 情景 ……… 

。 语言 。 对 于 英语 文档 来 说 ， 拼 写 和 语法 检查 器 太 常见 了 ， 一 般 不 会 出 现 拼 写 和 
语法 错误 。 但 对 于 中 文 文档 来 说 ， 可 以 采用 一 些 校 对 工具 辅助 人 工 检查 ， 并 进 
行 细致 专业 的 校对 ， 不 要 让 用 户 发 现 错别字 , -不 要 出 现 有 二 义 性 的 说 法 。: 特别 
要 注意 的 是 有 屏 磋 截图 或 绘制 图 形 中 的 文字 ， 个 能 想当然 没有 任何 工具 能 够 从 
图 形 中 找 出 语法 错误 。 

。 印刷 与 包装 。 文 档 测试 似乎 完成 了 ， 文档 终于 变 成 精美 的 册子 ， 这 时 ， 测试 人 
员 还 希 抽 查 印 刷 质量 ， 看 看 手册 厚度 与 开本 是 否 合 适 ， 翻 看 起 来 是 否 方便 ， 包 
装 盒 的 大 小 是 否 合适 ， 光 盘 盒 的 固定 有 没有 问题 ， 有 没有 零碎 易 丢 失 的 小 部 件 
等 等 。 这 时 发 现 的 问题 ， 如 果 不 是 太 严重 ， se i 
但 对 下 一 个 版 本 的 制作 来 说 是 非常 有 价值 的 。 : 


16.6 针对 用 户 手 册 的 测试 


用 户 手册 是 用 户 文档 中 最 重要 的 一 部 分 。 相 叶 用 广 手册 寺 行 到 斌 时 ， 应 全 它 坐 在 
计算 机 前 ， 进 行 如 下 操作 。 
。 ”准确 地 按照 手册 的 描述 使 用 程序 。 在 每 个 例子 中 如 实地 进行 每 个 键盘 操作 。 用 
户 在 按照 手册 运行 程序 时 可 能 会 进行 错误 的 操作 ， 因 此 测试 时 测试 人 员 也 可 以 
随心 所 欲 地 “犯错 误 ”。 eb Gi 当 
占用 测试 人 员 的 大 部 分 精力 。 
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尝试 每 一 条 建议 。 即 使 建议 并 没有 完全 表达 清楚 ， 仍 应 按 步 又 去 尝试 。 用 户 依 


上 照 建议 会 做 什么 ， 测 试 人 员 就 应 当做 什么 ， 甚 至 尝试 更 多 的 可 能 性 。 
检查 每 条 陈述 。 测 试 人 员 需 要 对 每 条 陈述 进行 检查 ， 因 为 用 户 手册 是 产品 最 终 
的 规范 ， 是 用 户 检查 程序 运行 是 否 正确 首先 求证 的 地 方 。 


查找 容易 误导 用 户 的 内 容 。 有 些 示 例 和 特征 描述 得 并 不 准确 ， 一 般 的 读者 可 能 


-会 从 中 归纳 出 错误 的 结论 。 用 户 可 能 对 程序 的 能 力 抱 有 过 高 的 期 望 ， 或 是 凭空 


想象 一 些 实际 并 不 存在 的 约束 条 件 。 尽 早 标 识 出 易 被 人 误解 的 内 容 ， 这 一 点 极 
其 重要 。 | z 


针对 在 线 帮助 的 测试 


帮助 文档 的 测试 在 很 大 程度 上 与 用 户 手 册 测 试 相同 ， 但 帮助 并 不 只 是 用 户 手 册 的 电 
子 版 ， 因 此 再 给 出 以 下 几 点 补充 说 明 。 


准确 性 。 对 因 助 准确 性 检查 的 细致 程度 至 少 要 接近 于 对 用 户 手册 的 检查 。 通 常 


帮助 文本 都 没有 得 到 良好 的 处 理 和 充分 测试 ， 无 法 受到 用 户 的 欣赏 。 一 旦 用 户 
发 现 帮助 中 存在 明显 的 销 误 ， 他 可 能 对 帮助 系统 的 信任 程度 大 大 下 降 。 


帮助 是 文档 编写 和 程序 编写 的 结合 。 不 仅 要 检查 文本 的 准确 性 ， 还 要 检查 程序 
的 可 蔚 性 。 制 作 帮 助 的 人 员 往 往 并 不 是 专业 的 程序 员 ， 他 们 在 使 用 帮助 制作 工 
具 的 技巧 、 与 程序 的 接口 等 问题 上 不 可 能 达到 完美 。 

帮助 索引 。 如 果 帮 助 系统 包含 了 索引 或 主题 列表 ， 允 许 用 户 由 索引 进入 到 主题 


. 中 ， 测 试 人 员 就 必须 逐条 进行 检查 。 
. 超 链 接 。 除 非 是 早期 开发 的 软件 或 开发 商 对 帮助 过 于 不 重视 ， 超 链接 是 在 线 帮 


.*， 助 中 必须 的 功能 。 测 试 人 员 必 须 对 每 个 链接 都 测试 到 ， 复 杂 的 超 链接 可 能 会 对 


一 个 主题 形成 树 状 结构 展开 的 者 干 页 面 ， 甚 至 构成 网 状 结构 。 测 试 人 员 有 义务 
检查 每 条 分 支 。 

链接 的 意义 。 索 引 和 链接 的 条 目 应 当 是 有 意义 的 ， 测 试 人 员 和 需要 发 现 是 否 有 一 
些 帮助 主题 未 出 现在 索引 里 ， 或 出 现 的 名 称 不 怡 当 。 如 果 用 户 不 能 迅速 找到 所 
怖 的 信息 ,只 能 说 帮助 系统 在 一 程度 上 是 失败 的 。 

帮助 的 风格 。 很 少 会 有 用 户 能 悠闲 地 查看 帮助 ， 和 帮助 的 阅读 者 是 带 着 问题 、 焦 


“ 躁 不 安 而 缺乏 耐心 的 。 帮助 文本 需要 比 用 户 手册 更 为 简洁 ， 风 格 也 应 更 为 简单 。 


良好 的 帮助 系统 应 该 是 面向 任务 或 面向 操作 的 , 它 必须 提供 一 些 有 意义 的 信息 ， 


让 用 户 能 立即 开始 或 继续 他 的 操作 。 任 何在 帮助 中 出 现 的 令 人 迷惑 或 离 题 的 内 


容 都 可 以 作为 测试 问题 。 
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17.1 概述 


前 面 我 们 介绍 了 多 种 黑 僵 测试 设计 的 方法 ， 人 比如 等 价 类 划分 法 、 因 果 图 法 、 错 误 推 
测 法 、 场 景 法 等 ， 这 些 方 法 在 测试 过 程 中 如 何 选 择 及 应 用 ， 需 要 根据 测试 项 目的 特点 ， 
结合 测试 经 验 灵 活 使 用 。 为 了 便于 读者 在 较 短 的 时 间 内 确实 掌握 上 述 方法 的 使 用 ， 我 们 
在 本 章 中 以 业务 流程 较 复杂 、 功 能 点 较 多 、 集 成 性 较 高 的 ERP 软件 测试 为 实例 ， 在 中 国 
软件 评测 中 心 长 期 测试 经 验 积累 的 基础 上 ， 对 黑 盒 测试 的 各 种 方法 作 一 个 深入 的 介绍 ， 
力争 使 读者 对 黑 盒 测试 的 实施 过 程 有 一 个 全 面 的 认识 。 


17.2 ERP 软件 简介 


企业 资源 计划 (Enterprise Resource Planning，ERP) 即 ERP 企业 资源 计划 是 一 种 先 
进 的 企业 管理 理 含 ， 它 将 企业 各 个 方面 的 资源 进行 充分 地 调配 和 平衡 ， 为 企业 提供 多 重 
解决 方案 ,使 企业 在 激烈 的 市 场 竞争 中 取得 竞争 优势 。ERP 以 制造 资源 计划 MRPII 为 核 
心 ， 基 于 计算 机 技术 的 发 展 ， 并 进一步 吸收 了 现代 的 管理 思想 。ERP 主要 侧重 于 对 企业 
内 部 人 、 财 、 物 等 资源 的 管理 ， 并 且 扩 展 了 管理 范围 ， 它 把 企业 衢 求 和 制造 活动 以 及 供 
应 商 的 制造 资源 整合 在 一 起 ， 形 成 了 一 个 完整 的 供应 链 ， 并 且 将 供应 链 上 所 有 环节 如 定 
单 、 采 购 、 库 存 、 计 划 、 生 产 、 发 货 和 财务 等 所 需 的 所 有 资源 进行 统一 的 计划 和 管理 。 
ERP 软件 特点 是 业务 流 、 数 据 流 、 资 金 流 、 管 理 流 集 成 化 程度 高 ， 并 且 和 名 模块 联系 紧密 。 
其 主要 功能 包括 生产 制造 控制 、 物 流 控制 、 财 务 管理 、 人 力 资 源 管 理 、 设 备 管理 、 质 量 
管理 等 、 库 存 管 理 等 。 


17.3 ERP 软件 测试 的 难点 


ERP 软件 是 一 种 流程 复杂 、 功 能 点 多 且 关 联 性 强 的 系统 。 如 果 按照 对 一 般 应 用 软件 
的 测试 方法 进行 测试 ,即使 耗费 很 大 的 人 力 、 物 力 进行 测试 ,保证 大 部 分 功能 点 都 正确 ， 
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也 不 能 保证 可 以 正常 地 使 用 ， 因 为 ERP 软件 的 业务 流 顺 畅 、 集 成 性 高 是 更 重要 的 要 求 。 
针对 这 样 的 难点 ， 我 们 将 测试 重点 应 该 放 在 流程 正确 集成 上 。 

测试 ERP 软件 ， 要 求 测试 人 员 不 仅 要 党 握 ERP 业务 流程 和 ERP 管理 思想 ， 还 要 了 
解 行 业 及 企业 的 需求 。 在 项目 实施 过 程 中 要 求 测试 工程 师 协 同 工 作 ， 共 同 来 设计 ERP 软 
件 的 测试 用 例 ， 并 进行 测试 。 

这 里 我 们 提出 以 业务 流 和 数据 流 为 主 驱动 的 方法 设计 用 例 。 


17.4 ERP 软件 测试 实例 及 分 析 


本 实例 以 适用 于 离散 制造 业 、 面 向 定单 的 生产 方式 的 一 类 ERP 软件 为 例 ,对 其 基础 
数据 模块 、 销 售 管理 模块 、 计 划 管 理 模块 、 采 购 管 理 模块 、 生 产 管理 模块 的 主要 功能 和 
基本 流程 测试 进行 介绍 。 实 例 模 拟 了 销售 部 门 签订 销售 定单 ， 之 后 转 到 计划 部 门 对 销售 
定单 进行 物料 需求 计算 ,采购 部 门 和 生产 部 门 根据 计划 部 门下 达 的 计划 进行 生产 和 采购 ， 
最 终 完成 发 货 并 关闭 销售 定单 的 基本 流程 。 该 实例 采用 流程 图 的 方式 ， 侧 重 于 业务 流 、 
数据 流 、 资 金 流 以 及 管理 流 的 测试 。 

用 例 设计 首先 使 用 场景 法 ， 对 系统 运行 流程 进行 分 析 ， 从 宏观 考虑 用 例 应 包括 的 哪 
些 基 本 流 和 被 选 流 ， 其 次 在 设计 具体 的 数据 流 时 以 业务 流 为 驱动 ,. 结合 等 价 类 划分 、 边 
界 值 分 析 、 因 果 图 等 方法 进行 具体 数据 的 设计 。 

在 进行 用 例 设计 时 ， 和 需要 强调 必须 依据 软件 设计 说 明 书 和 使 用 手册 进行 操作 。 


17.4.1 ”前 其 分析 


由 于 ERP 软件 的 流程 比较 复杂 , 如何 选择 有 限 的 有 代表 性 的 流程 达到 测试 需求 , 在 
设计 测试 用 例 前 ， 利 用 场景 法 对 软件 的 流程 进行 分 析 ， 通 过 用 例 场景 并 结合 各 路 径 的 触 
发 条 件 来 确定 用 例 应 遵从 的 流程 。 

所 谓 用 例 场景 ， 就 是 在 测试 用 例 设 计 方法 中 介绍 过 的 ， 通 过 描述 流 经 用 例 的 路 径 来 
确定 测试 用 例 的 过 程 ， 这 个 流 经 路 径 要 从 用 例 开 始 到 结束 ， 过 历 其 中 所 有 基本 流 和 备 
选 流 。 

1. 业务 流程 图 

如 图 17-1 所 示 是 我 们 用 例 中 主要 模块 的 业务 流程 图 。 

2. 主 备 选 流 图 

根据 上 面 的 流程 图 和 用 户 使 用 手册 ， 我 们 可 以 归纳 出 一 个 看 上 去 比较 清晰 的 主 、 备 
选 流 关系 图 ， 如 图 17-2 所 示 以 及 各 路 径 与 触发 条 件 的 对 照 表 ， 如 表 17-1 所 示 。 
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四 
Ke 人 全 


返工 计划 时 合同 结案 


17-1 主要 模块 的 业务 流程 图 
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开始 用 例 


| 各 选 流 1 


结束 用 例 
17-2 主 、 备 选 流 关系 图 


表 17-1 各 路 径 的 触发 条 件 对 照 表 


触 发 条 件 
库存 可 用 产品 数 重 不 满足 销 货 需 求 
@ 库存 可 用 零 部 件数 重 不 能 满足 生产 需求 
他 所 采购 的 部 件 入 库 质 检 全 部 合格 
@ 所 生产 的 部 件 及 产品 全 部 合格 
库存 可 用 产品 数量 满 息 铺 售 需求 
QW 库存 可 用 产品 数量 不 满足 销售 需求 
@ -库存 可 用 零 部 件数 重 能 满足 生产 需求 
GD :库存 可 用 产品 数量 不 满足 销 个 需求 


” @ 库存 可 用 零 部 件数 量 不 能 满足 生产 需求 


@) 所 采购 的 部 件 入 库 质 检 部 分 不 合格 
(D 库存 可 用 产品 数量 不 满足 销售 需求 


 @ 所 生产 的 部 件 及 产品 需 返 工 


库存 可 用 产品 数量 不 满足 销售 需求 
包 所 生产 的 部 件 及 产品 有 废品 


www.TopSage.com 


第 17 章 功能 浏 试 523 


3. 场 录 分析 
遵循 如 图 17-2 中 所 示 的 路 径 , 可 以 确定 不 同 的 用 例 场景 ， 从 基本 流 开始 , 将 基本 流 
和 备 选 流 结合 起 来 ， 可 以 确定 各 种 场景 (如 表 17-2 所 示 只 是 列 出 部 分 的 场景 )。 


家 17-2 场景 路 径 表 
场景 1 基本 流 
场景 2 基本 流 : 备 选 流 1 
场景 3 基本 流 ， 备 选 流 2 
场景 4 基本 流 :， 备 选 流 3 
场景 $ 基本 流 ; 备 选 流 4 
场景 6 基本 流 : 备 选 流 5 
场景 7 基本 流 ， 备 选 流 2;， 备 选 流 4 
场景 8 基本 流 ， 备 选 流 3;， 备 选 流 4 
场景 9 基本 流 ， 备 选 流 5;， 备 选 流 1 
场 入 10 基本 流 ; 备 选 流 2， 备 选 流 5 
场景 11 基本 流 ， 备 选 流 3， 备 选 流 5 
场景 12 基本 流 ， 备 选 流 5， 备 选 流 4 
场景 13 基本 流 ; 备 选 流 5; 备 选 流 2， 备 选 流 4 
场景 14 基本 流 ; 备 选 流 5， 备 选 流 3， 备 选 流 4 
场景 15 基本 流 ; 备 选 流 2; 备 选 流 4; 备 选 流 5; 备 选 流 3 


以 上 我 们 讨论 了 ERP 几 个 子 模块 之 间 的 业务 流程 图 , 同时 模块 内 部 还 有 较 复杂 的 业 
务 流程 ， 在 实际 测试 时 我 们 不 可 能 对 所 有 流程 一 一 验证 ， 这 就 引出 一 个 问题 ， 如 何 选择 
“性 价 比 ” 较 高 的 业务 流程 ,使 它们 尽量 绪 盖 较 多 的 场景 , 然后 根据 所 选 业 务 流 设计 数据 
流 。 为 了 解决 各 这 个 问题 ， 我 们 建立 了 路 径 触 发 条 件 与 场景 关系 表 ， 如 表 17-3 所 示 。 


表 17-3 ”路 径 触 发 条 件 与 场景 关系 表 


序 号 
@ 库存 无 可 用 产品 数 生 销 个 需求 
@ 库存 无 可 用 零 部 件 

@ 所 采购 的 部 件 入 库 质 检 全 部 合格 
四 所 生产 的 部 件 及 产品 全 部 合格 
2 场 好 2 
© 讶 存 中 有 可用 产品 但 不 直销 人 | 

@ 库存 无 可 用 零 部 件 

@ 所 采购 的 部 件 入 库 质 检 全 部 合格 
@ 所 生产 的 部 件 及 产品 全 部 合格 


角 盖 的 场景 


场景 1 


场景 1、 场 景 2 
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序 号 现 莹 的 场 录 
@ 库存 中 有 可 用 产品 但 不 满足 销售 需求 
图 库存 有 可 用 零 部 件 但 不 满足 生产 需求 
@ 所 采购 的 部 件 入 库 质 检 全 部 合格 
@ 所 生产 的 部 件 及 产品 全 部 合格 
@ 库存 中 有 可 用 产品 但 不 满足 销售 需求 
@ 库存 有 可 用 零 部 件 但 不 满足 生产 需求 
@ 所 采购 的 部 件 入 库 质 检 全 部 不 合格 
所 生产 的 部 件 及 产品 全 部 合格 
Q@ 库存 中 有 可 用 产品 但 不 满足 销售 需求 
@ 库存 有 可 用 零 部 件 但 不 满足 生产 需求 
@ 所 采购 的 部 件 入 库 质 检 部 分 不 合格 
| @ 所 生产 的 部 件 及 产品 全 部 合格 

@ 库存 中 有 可 用 产品 但 不 满足 销售 需求 

@ 库存 有 可 用 零 部 件 但 不 满足 生产 需求 

@ 所 采购 的 部 件 入 库 质 检 部 分 不 合格 
| @ 所 生产 的 部 件 及 产品 全 部 返修 
 @ 库存 中 有 可 用 产品 但 不 满足 销售 需求 = 
| @ 库存 有 可 用 零 部 件 但 不 油 足 生产 需求 

图 所 采购 的 部 件 入 库 质 检 部 分 不 合格 
@ 所 生产 的 部 件 及 产品 全 部 为 度 品 

| @ 库存 中 有 可 用 产品 但 不 满足 销 他 需求 
| @ 库存 有 可 用 零 部 件 但 不 满足 生产 需求 
9 “| @ 所 采购 的 部 件 入 库 质 检 部 分 不 合格 

| @ 所 生产 的 部 件 及 产品 中 部 分 为 废品 ， 其 余部 分 
| 需要 返修 


| 场 壤 1、 雹 景 2、 场 景 3 


| 场 蕊 2、 场 景 3、 场 最 4 


、 功 景 2、 蕊 氛 3、 场 景 4 


、 场 僻 5、 场 景 7、 场 最 8 


、 场 最 6、 场 售 10、 场 景 1 


场景 2、 场 景 5、 场 景 6、 场景 7、 
场景 8、 场 景 10、 场 景 11 


中 库存 中 有 可 用 产品 但 不 满足 销售 需求 
四 库存 有 可 用 零 部 件 但 不 满足 生产 需求 场景 1、 场 景 2、 场 蚊 3、 场 景 4、 
10 轩 所 采购 的 部 件 入 库 质 检 部 分 不 合格 场景 5S、 场 和 6、 场 轴 7、 场 景 8、 


@ 所 生产 的 部件 及 产品 中 部 分 为 废品 、 部 分 需要 | 场景 10、 场 景 11 
返修 ， 部 分 合格 

分 析 : 从 表 17-3 中 可 以 看 出 第 10 组 条 件 组 合 所 锌 盖 的 场景 最 多 ， 应 该 按照 这 个 组 
合 设计 案例 《实际 测试 中 可 以 根据 软件 需求 和 测试 需求 的 不 同 ， 添 加 或 减少 触发 条 件 )， 
但 其 同时 存在 着 优点 和 缺点 。 

缺点 : 对 循环 执行 业务 考虑 得 不 全 ， 如 未 入 盖 场景 9、12、13、14、15， 归 其 原因 
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是 在 于 没有 考虑 执行 备 选 流 5 以 后 的 场景 触发 条 件 。 

优点 : 履 盖 了 全 部 流程 分 支 ， 且 可 以 按照 实际 测试 需求 ， 根 据 这 个 条 件 组 合 循环 执 
行 案例 ， 达 到 要 求 的 场景 颖 盖 率 。 

通过 以 上 工作 我 们 确定 了 在 设计 该 ERP 软件 案例 时 “性 价 比 ” 较 高 的 流程 ， 以 及 触 
发 流程 所 需 的 基本 条 件 , 这 样 在 准备 案例 的 数据 流 时 就 有 了 “根基 ”, 使 一 套 测 试 数据 能 
够 覆盖 尽量 多 的 流程 分 支 以 及 功能 点 。 上 反之， 如 果 盲 目地 选择 流程 进行 案例 设计 ， 结 朱 
可 能 是 重要 的 流程 分 支 及 功能 点 没有 补益 到 ， 或 者 是 虽然 流程 分 支 及 功能 后 六 盖 到 了 ， 
但 进行 了 大 量 的 重复 性 劳动 ， 造 成 了 人 力 、 物 力 的 浪费 。 

下 面 我 们 就 以 表 17-3 中 第 10 组 条 件 组 合 为 例 ， 进 行 案例 设计 。 


17.4.2 ”用 例 设计 


1。 基础 数据 管理 

基础 数据 模块 是 系统 的 基础 , 多 数 功 能 为 基础 数据 管理 ,因此 该 模块 不 列举 流程 图 。 
在 本 部 分 ， 我 们 以 会 计 期 间 输 入 测试 用 例 的 设计 为 例 ， 介 绍 两 种 测试 用 例 设计 方法 ， 等 
价 类 划分 法 和 边界 值 法 。 - , , 

(1) 会 计 期 间 输 入 测试 用 例 设 计 

如 表 17-4 所 示 是 一 个 已 设置 完成 的 会 计 期 间 ， 包 括 三 个 字段 ， 其 中 “序号 ”由 软件 
自动 生成 的 ,“ 起 始 日 期 ”和 “终止 日 期 ”手工 录入 。 


表 17-4 会 计 期 间 
序 号 终止 日 期 
1 | 2003-01-01 | 2003-0131 | 7 | 2003-07-01 | 2003-07-3l 
2 | 2003-02-01 | 2003-02-28 | 8 | 2003-08-01 | 2003-08-3! 
3 | 2003-03-01 | 2003-033 | 9 | 2003-09.0! | 2003-09-30 
4 | 2003-0401 | 2003-0430 | 10 | 2003-10-0! | 2003-10-3l 
5 | 2003-05:01 | 2003-0531 | 1 | 2003-1-0] | 2003-11-30 
6 | 2003-06.01 | 2003-0630 | 12 


首先 我 们 用 到 等 价 类 划分 法 。 等 价 类 划分 是 把 程序 的 输入 域 划分 成 若干 部 分 ， 然 后 
从 每 个 部 分 中 选取 少数 代表 性 数据 作为 测试 用 例 。 每 一 类 的 代表 性 数据 在 测试 中 的 作用 
等 价 于 这 一 类 中 的 其 他 值 ， 也 就 是 说 ， 如 果 某 一 类 中 的 一 个 例子 发 现 了 错误 ， 这 一 等 价 
类 中 的 其 他 例子 也 能 发 现 同样 的 错误 ， 反 之 ， 如 果 某 一 类 中 的 一 个 例子 没有 发 现 错误 ， 
则 认为 这 一 类 中 的 其 他 例子 也 不 存在 错误 。 

。 分 析 会 计 期 间 的 要 求 和 特点 。 


2003-12-31 
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不 能 有 无 效 的 日 期 。 比 如 : 2003-02-29。 
@ 相 邻 时 间 段 之 间 不 能 有 日 期 间隔 。 
@ 时 间 段 之 间 不 能 有 日 期 的 交集 。 
必须 按 日 期 格式 录入 。 比 如 :yyyy-mrm-dd、mrmydd/yyyy。 
加 不 能 包含 非法 字符 〈yyyy、mm、dd 均 为 大 于 0 的 整数 )。 比 如 : 字母 、 特 殊 字 
起 始 日 期 或 终止 日 期 不 能 为 空 。 
QF 不 能 存在 无 效 时 间 段 。 如 表 17-5 所 示 的 时 间 段 即 为 无 效 时 间 段 。 


捐 17-5 无 效 时 间 段 示例 囊 
起 始 日 期 终止 日 期 
2003-03-31 2003-03-01 


。 列 出 等 价 类 列表 ， 如 表 17-6 所 示 。 
表 17-6 等 价 类 列表 


条 件 无 效 等 价 类 
是 否 有 不 存在 的 日 其 不 存在 的 日 其 (2) 
相 邻 时 间 段 是 否 有 日 期 间隔 。 | 无 日 期 间 阳 。”(3)〉 | 有 日 期 间隔 (4) 
时 间 段 之 间 是 否 有 日 期 的 交集 有 日 期 交集 (6) 
yyyy-mm-dd (7) | 日 期 格式 不 是 yyyy-mm-dd 
是 下 符合 日 期 铬 趟 受 求 rid (8) | 日 不 是 madyyyy 09 
z | yyyy<0 (16) 
mm 三 0 (17) 
dd 三 0 (18) 
yyyy 中 含 字母 (19) 
yyyy 中 含 特殊 符号 (20) 
/ yyyy 为 小 数 (21) 
是 否 包含 非法 字符 nl 由 全 学 2 
mm 中 含 特殊 符号 (23) 
mm 为 小 数 (24) 
dd 中 含 字 母 1 
dd 中 含 特殊 符号 (26) 
dd 为 小 数 (27) 
起 始 日 期 或 终止 日 期 是 否 为 空 起 始 日 期 不 为 定 且 终止 日 期 不 | 起 始 日 期 为 空 (29) 


为 空 (28) | 终止 日 期 为 空 (30) 


\ | 起 始 日 期 晓 于 终止 日 期 ”(32) 
是 否 存在 无 效 时 间 段 起 始 日 期 时 于 终止 日 期 〈31) | 起 始 日 期 和 于 终止 日 期 ”633) 
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。 会 计 期 间 输入 的 测试 用 例 ， 如 表 17-7 所 示 。 
z 家 17-7 会 计 期 间 测试 用 例 


序号 团 盖 等 价 类 预期 结果 实际 输出 


| 


终止 日 期 
_2003-01-01 | 2003-01-31_ 


2003-02-03 | 2003-02-28 


. 


2003-01-32 | 2003-02-29_ 


1、 3、 5、 7、 8、10、 
11、12、13、14、 
15、28、31 


保存 成 功 


4、 10、 11、 12、 13、 
14、15、28、31 


提示 :“ 录 入 会 计 期 间 存 
在 日 期 间隔 ,保存 不 成 功 


6, 10、 11、 12、 13、 
14、15、28、31 


提示 :“ 录 入 会 计 期 间 存 
在 日 期 交集 ”, 保存 不 成 功 


提示 : “2003-01-32 、 
2003-02-29 日 期 不 存在 ” . 
保存 不 成 功 
提示: “ 2003\01\01 、 
2003.1.31 日 期 格式 不 正 
确 "”， 保 存 不 成 功 


| 人 
字符 "， 保 存 不 成 功 


提示 :“ 日 期 中 包含 非法 
字符 ”， 保 存 不 成 功 
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也 | ” 履 近 ”| 册 9W 交 | 斋 关 后 果 ” ”| 实 了 


] 


| 2003-02-0] | ab03-02-28 
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提示 :“ 日 期 中 包含 非法 字 


符 “， 保 存 不 成 功 


提示 :“ 日 期 中 包含 非法 字 
件 "”， 保 和 存 不 成 功 


| 起 始 日 期 “| 终止 日 期 _ 


提示 :“ 日 期 中 包含 非法 字 
符 ”， 保 存 不 成 功 


起 始 日 期 


提示 :“ 日 期 中 包含 非法 字 
, ”保存 不 成 功 
起 始 日 期 ”| 终止 日 其 全 全 全 


2003-02-01 | 2003-02-a8 


| 2$03-01-01 | 2003-01-31 


提示 :“ 日 期 中 包含 非法 字 
符 ” 保存 不 成 功 


| 提示 :“ 日 期 中 包含 非法 字 
符 ”， 保 存 不 成 功 
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提示 :“ 日 期 中 包含 非法 字 
符 几 保存 不 成 功 


提示 :“ 日 期 中 包含 非法 字 
符 "， 保 存 不 成 功 


提示 :“ 日 期 中 包含 非法 字 
符 "， 保 存 不 成 功 


提示 :“ 日 期 中 包含 非法 字 
符 ”， 保 存 不 成 功 


2003-02-28 _ 


| 
200301.01 | 
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不 成 功 
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实际 输出 


厚 号 


般 益 等 价 类 预期 结果 
起 始 日 期 | 提示 :“ 起 始 日 期 晚 于 终止 日 
期 "， 保 存 不 成 功 


[onotol | zsotol 


这 个 测试 用 例 已 经 窗 羔 了 全 部 等 价 类 ， 但 对 具体 输入 数据 的 测试 还 不 够 完善 ， 在 此 
我 们 引入 边界 值 分 析 法 。 

边界 值 分 析 法 不 是 选择 等 价 类 的 任意 元 素 ， 而 是 选择 等 价 类 边界 构建 测试 用 例 ， 是 
对 等 价 类 划分 的 很 好 的 补充 。 实 践 证 明 ， 在 设计 测试 用 例 时 ， 对 边界 附近 的 处 理 必须 给 
予 足够 的 重视 ， 为 检验 边界 附近 的 处 理 专门 设计 测试 用 例 ， 常 常 取得 良好 的 测试 效果 。 
利用 边界 值 分 析 法 设计 用 例 , 可 以 有 效 地 弥补 等 价 类 划分 对 具体 用 例 数据 设计 上 的 不 足 。 

首先 检查 存在 的 边界 值 : 

Q@ 日 期 的 边界 值 ， 如 2003-01-01、2003-01-31、2004-02-29。 

@ 相 邻 会 计 期 间 的 边界 值 。 

@ 跨年度 的 时 间 段 。 

由 此 设计 相应 的 测试 用 例如 表 17-8 所 示 。 


表 17-8 边界 值 测试 用 例 
序 号 期 望 输 出 __| 实际 输出 


20 


| 提示 :“ 起 始 日 期 等 于 终止 日 


) “| [起 始 日 其 终止 日 期 ”| | 提示 :“2003-02-29 日 期 不 存在 ” 
| .2003-02-01 | 2003-02-29 | | 


TDEEEE 区 天 


EE ee 
4 |[z003-0101 | 2003:0131 | | 信 " a 个 
i 


| _ 起 始 日 期 终止 日 期 
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《2) 基础 数据 
”阐明 ， 以 下 列 出 本 实例 中 所 用 到 的 基础 数据 ， 针 对 它们 的 输入 测试 用 例 可 以 仿照 上 
面 介绍 的 方法 进行 设计 ， 此 处 不 再 一 一 列 出 。 

Q@ 如 表 17-9 所 示 为 货币 类 别 。 


表 17-9 ”货币 类 别 


编码 备注 
RMB 本 位 币 
USD 


人 如 表 17-10 所 示 为 部 门 员工 信息 。 
家 17-10 部门、 员工 信息 


编码 | 名 称 | 员工 | 编码 | 名 称 | 员工 
00 | 采购 部 | | oool | 总 装 车 间 | 总 装 工程 师 
00101 | 采购 一 部 | 采购 员 甲 | 00302 | 加 工 车 间 | 加 工 工程 师 
00102 | 采购 二 部 | 采购 员 Z | 00303 | 外 协 加 工 | 外 协 人 员 
002 | 销售 部 | | 04 | 仓 全 部 
00201 库 管 员 息 
00202 销售 二 部 库 管 员 乙 
003 | 生产 车 间 | | 0003 | 成品 | 库 管 员 丙 


@) 如 表 17-11 所 示 为 会 计 科 目 〈 参 照 国家 财务 制度 会 计 科 目 设 置 标准 ) 
家 17-11 会 计 项 目 


@ 如 表 17-12 所 示 为 仓库 类 别 。 
: 下 17-12 仓库 类 别 


@ 如 表 17-13 所 示 为 产 成 品 物料 家。 
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表 17-13 产 成 品 物料 表 (价格 单位 广元) 
名 称 | 来 源 | 类 型 | 编码 | 计量 单位 | 生产 提前 期 (天) 
| 
家 用 电脑 | 制造 | 产 成 品 | 10-co01 | 台 | sm | 1 | 


如 表 17-14 所 示 为 半成品 物料 表 。 : 
和 半成品 物料 家 (价格 单位 ， 元) 


计量 单位 | 生产 提前 期 (天 ) 


如 表 17-15 所 不 为 殿 何 料 钧 笠 狼 。 
家 17-15 原材料 物料 家 se 


名 称 下- 全- 避 大 -下 -大 
原材料 - 副 al | 十 
键盘 30-C001 | 个 | 1 | 3 | ao 
CPU | 采购 | 原材料 | 30-c002 | 个 | lo | 3 | nm 
硬盘 | 采购 | 原材料 | 30-C003 | 个 | to0 | 3 | 1 
内 存 一直 二 一 -| 10 
让 标 _ |- 采购 | 原材料 | 30-C005 | 个 | 50 | 3 | 
主板 | 采购 | 原材料 | 30-C006 | 个 | 30 | 3 | ao 
采购 | 原材料 | .30-C007 | 台 | lo | 3 | ao 
机 Ri | 0co08 [| 个 | 3 | 3 _10 
 @ 如 表 17-16 所 示 为 物料 企业 供应 商 报 价 。 
表 17-16 物料 企业 供应 商 报价 | (价格 单位 ， 元) 
物料 编码 | 价格 失效 时 间 
30-C00 | 入 民 币 2003-12-10 
30-C002 TI CT ET ae 2003-12-10 _ 
30-C003 TT 2003-12-10 
30-C004 5 人 民 币 | 2003-12-10 
30-C005 eR 人 民 币 | 2003-12-10 
30-C006 2003-12-10 
30-C007 2003-12-10 
30-C008 350 | 人 民 币 | 2002-12-10 | 2003-12-10 
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加 如 表 17-17 所 示 为 往来 客户 资料 。 
家 17-17 往来 客户 资料 


往来 客户 代码 ”| ”往来 客户 简称 ”| ”往来 客户 名 称 供应 
000!1 __ 


商标 志 
sp | gp | kK 


如 表 17-18 所 示 为 计量 单位 。 
家 17-18 ”计量 单位 


计量 单位 代码 _ 计量 单位 简称 计量 单位 名 称 计量 单位 说 明 
00l 台 


002 
@ 如 图 17-3 所 示 为 产品 结构 图 。 


EE 


17-3 ”产品 结构 图 
如 表 17-19 所 示 为 工作 中 心 定义 表 。 


0004 


: 表 17-19 工作 中 心 定义 

工作 中 心 名 称 | 所 属 车 间 | 工作 中 心 类 别 
总 装 车 间 | 按 A 员 | 5 
加 I 车 间 | 按 A 员 | 5 


有 


工作 中 心 代 码 
10001 


关键 工作 中 心 
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家 17-20 工序 名 种 
工序 代码 ,we 工序 名 称 
001 总 装 
002 加 工 
@ 如 表 17-21 所 示 为 工艺 路 线 。 
上 17-21 工艺 路 线 


| 工艺 路 工序 加 工 | 等待 | 准备 第 一 道 
3 


名 如 表 17-22 所 示 为 企业 日 历 
家 17-22 企业 万 


日 历 码 站 两 | 社会 吕 贡 企业 星期 | “ 状 页 


ol 2 工作 
01 | 2003-1-14 | 星期 = | 星期 -= | 工作 
ol os | ans | 工作 
ol 1 工作 
0 i 工作 
ol 一 休息 
| 旦 期 日 ”| 
a 


ol 星期 日 ”| 休息 


和 曲 如 表 17-23 所 示 为 质量 对 应 关系 
表 17-23 ”质量 对 应 关系 


物料 代码 | 物 料 名 称 数量 统计 类 
a 
10-Co0l | 家 用 电脑 .返工 
] 废品 


Ds 一 一 
废品 
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物料 代码 物料 名 称 数量 统计 类 
从 . 
30-C001 键盘 不 合 
30-C00 CPU 全 
0-C002 不 合格 


合格 
合 
30-C004 内 存 未 会 


pa 
[mm | 
30-C005 鼠标 
不 合格 
合 
30-C006 主板 一 
不 合 
合 
30-C007 显示 器 不 合 


A 
0-C008 箱 3 


蝎 如 表 17-24 所 示 为 库存 。 
中 17-24 库存 信息 


成 品 库 | 10.C00 | 家 用 k 脑 | 6 | 1 | 5 
半成品 库 | 20C0 | 机 | 6@ | | 4 
30cl | 放 | 5 | | 
0c02 | cu | io | sa 
0003 | 五 | 3 | 1 | 。 
a 和 004 | pm | 1 | s | s | 
标 | 2 | 5 | ;ss 
20C06 | # 酸 | 5 | | 和 
30C007 | Bi | 7 | | 6 
30C008 | 机 箱 | 6 | 1 | 5 
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2. 销售 管理 z 

针对 ERP 软件 流程 进行 用 例 设计 , 对 数据 的 有 效 性 校 验 可 以 用 等 价 类 划分 和 边界 值 
分 析 法 进行 用 例 设计 ， 在 此 不 再 列举 。 

(1) 流程 图 

如 图 17-4 所 示 为 销售 管理 流程 图 。 


图 17-4 销售 管理 流程 图 


(2) 用 例 步骤 及 数据 
如 表 17-25 至 表 17-30 所 示 为 销售 管理 模块 测试 用 例 的 步骤 及 数据 
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表 17-25 生成 报价 单 
序 号 | 1 
测试 项 目 | 生成 报价 单 
数据 来 源 | 手工 输入 、 基 础 数据 


上 部 
窗户 A | 50000000 | 人民币 2003-1-1 |2003-1-24 销售 一 部 | 销售 员 四 
ee 单位 尖 求 日 
家 用 电脑 i 
预期 结果 | 保存 成 功 
实际 结果 
中 17-26 ”报价 单 下 达 
序 号 2 
测试 项 目 报价 单 下 达 
数据 来 源 ”| 报价 单 
操作 或 输入 数据 下 达 报 价 单 
预期 结果 生成 在 销售 定 单 ， 销 售 定单 导 为 200301001， 定 单数 据 与 报价 单数 据 一 致 。 
除 销售 定单 号 外 ， 其 他 数据 项 允许 修改 
实际 结果 
表 17-27 销售 定单 送审 1 
序 号 3 
测试 项 目 销售 定单 送审 


数据 来 源 销售 定单 
操作 或 输入 数据 ”| 将 销售 定单 200301001 送审 
预期 结果 送审 成 功 


实际 结果 
家 17-28 销售 定单 审核 1 
序 “号 TT 
测试 项 目 销售 定单 审核 | 预期 结果 驶 回 成功 
数据 来 源 销售 定单 


操作 或 输入 数据 。 | 将 销售 定单 200301001 双 回 | | 
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家 17-29 销售 定单 送审 2 


序 号 |s | 让 号 |s 
测试 项 目 销售 定单 送审 | 预期 结果 | 送审 成 功 
数据 来 源 | 销售 定单 实际 结果 


操作 或 输入 数据 “| 再 次 将 销售 定单 200301001 送审 | 


家 17-30 ”销售 定单 审核 2 


序 号 6 

测试 项 目 | 销售 定单 审核 

数据 来 源 ' 销售 定单 

操作 或 输入 数据 | 销售 定单 200301001 审核 通过 

预期 结果 审核 成 功 
生成 合同 号 为 200301001 的 销售 合同 ， 同 时 该 合同 流向 计划 管理 模块 ( 即 ， 在 销 
售 需 求 查 看 中 能 够 查看 到 该 合同 ) 

实际 结果 


以 上 用 例 模 拟 了 销售 管理 模块 中 制定 销售 定单 最 简单 的 流程 ， 由 于 数据 流向 计划 管 
理 部 门 ， 我 们 将 在 下 面 进行 计划 管理 模块 的 用 例 设计 ， 销 售 管理 模块 的 用 例 设 计 到 此 
暂停 。 

3. 计划 管理 | 

本 部 分 我 们 继续 场景 10 的 用 例 设计 ， 其 中 我 们 会 用 到 因果 图 的 方法 进行 该 模块 的 
测试 用 例 设 计 。 

(1) 流程 图 

计划 管理 流程 图 如 图 17-5 所 示 。 

设计 流程 图 时 ， 我 们 不 仅 考 虑 了 场景 10 的 条 件 组 合 中 涉及 到 的 计划 管理 条 件 值 
(库存 中 有 可 用 产品 但 不 满足 销售 需求 ， 且 库存 有 可 用 零 部 件 但 不 满足 生产 需求 )， 
也 考虑 了 其 他 几 种 情况 ， 这 是 为 了 在 这 里 给 大 家 介绍 另 一 种 测试 用 例 设计 方法 一 一 因果 

因果 图 方法 的 思路 是 : 从 用 目 然 语言 书写 的 程序 规格 说 明 描 述 中 找 出 因 〈 输 入 条 件 ) 
和 果 〈 输 出 或 程序 状态 的 改变 )， 通 过 因果 图 转换 为 判定 表 。 

e 分析 原 因 和 结果 。 

原因 和 结果 分 析 如 图 17-6 所 示 。 
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本 号 


Bb bes bo haba hh dh hh 


和 


DD 


二 


[i 


销售 发 货 管理 
主 生产 计划 


是 
7 


四 


Dd AA AA LAL LT 


17-5 计划 管理 流程 图 


原因 ; 结果 : 
QD 可 用 库存 满足 销售 需求 JW 可 以 进行 发 货 管理 


@ 可 用 库存 不 满足 销售 需求 (有 可 用 库存 ) 
@ 可 用 库存 不 满足 销售 需求 无 可 用 库存 】 [> 人 生成 芋 全 产 计划 


@ 可 用 库存 满足 生产 需求 i 
@@ 可 用 库存 不 满足 生产 需求 ”  @@ 生成 计划 生产 定单 


图 17-6 原因 与 结果 分 析 
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村。 
因 ， 
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。 因 朱 图 。 
如 图 17-7 所 示 为 因 末 图 。 
输入 条 件 (原因 ) 输出 条 件 ( 结 果 )》 


| 可 用 库存 满 
.| 足 销 售 需 求 z 
J V 一 | 进行 发 货 管理 


,* “| 可 用 库存 不 满足 
ee 销售 需求 (有 可 


用 降生? 生成 主 生 
\ 产 计 划 | 
“| 可 用 库存 不 满足 
生成 计划 
生产 定单 


“省 销售 逢 求 〈 无 可 


可 用 库存 满 杀 
.| 足 生产 需求 
0 
一] 可 用 库存 不 满 
足 生产 需求 


图 17-7 因果 图 


e。 测试 用 例 

如 表 17-31 所 示 为 判定 表 

如 果 我 们 希望 对 该 模块 进行 更 加 全 面 的 测试 ， 可 以 按照 表 17-31 进行 具体 数据 的 设 
分 析 表 17-31， 我 们 可 以 看 到 a、b 两 组 的 输出 是 一 样 的 。 这 时 我 们 应 该 分 析 一 下 原 
看 看 在 设计 用 例 数据 时 是 不 是 只 考虑 其 中 一 个 就 够 了 。 

结合 流程 图 我 们 发 现实 际 流程 中 如 果 “ 可 用 库存 满足 销售 需求 ” 那么 数据 直接 就 转 


到 销售 发 货 管理 了 ， 数 据 根 本 不 会 流向 下 一 个 判断 点 ， 结 合 等 价 类 划分 法 ， 可 以 得 出 结 


论 ， 


设计 用 例 数 据 时 只 考虑 a、b 两 组 中 的 任 一 个 情况 即 可 。 
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表 17-31 判定 表 


然而 ， 为 什么 会 出 现 这 种 情况 昵 ? 其 中 因素 很 多 ， 如 软件 复杂 程度 、 输 入 条 件 的 选 
择 、 输 入 条 件 之 间 的 关联 关系 等 。 所 以 ， 实 际 用 因果 图 法 进行 用 例 设计 时 ， 想 要 设计 出 
“完美 ”的 “输入 ”、“ 输 出 ”是 比较 困难 的 。 我 们 应 该 将 各 种 用 例 设计 方法 相 结 合 ， 融 会 
贯通 ， 才 能 够 设计 出 好 的 测试 用 例 。 

此 处 由 于 篇 幅 限 制 ， 我 们 只 根据 情况 d 进行 用 例 数据 的 设计 ， 情 况 d 的 输出 是 最 多 
的 ， 而 且 和 前 面 选 择 按 第 10 组 条 件 组 合 进行 整个 用 例 的 设计 也 是 相符 的 。 

(2) 用 例 步骤 及 数据 

表 17-32 至 表 17-38 为 计划 管理 模块 测试 用 例 步骤 及 数据 


表 17-32 计划 要 求 


序 号 . 7 
测试 项 目 计划 和 需求 查看 
数据 来 源 销售 需求 
操作 或 输入 数据 ”| 查询 计划 需求 
预期 结果 可 以 查 到 销售 定单 200301001。 定 单 的 数据 不 允许 修改 
实际 结果 


家 17-33 MPS 计算 
厅 号 8 
测试 项 目 | MPS 计算 
数据 来 源 | 销售 定单 200301001、 基 础 数据 


操作 或 输 | 进行 MPS 计算 
入 数据 
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续 表 
序号 | 8 
生成 主 生产 计划 (计划 开工 日 期 允许 修改 ); 


| 物料 | 物料 | 定单 | 生产 | 准 位 | 计划 计划 开 | 计划 完 | ”计划 | 排 产 
代码 | 名 称 | 数量 | 数 二 来 源 | 工 日 期 | 工 昌 期 | 令 号 | 方式 | 


库存 中 家 用 电脑 的 库存 可 用 量变 为 0 
实际 结果 


预期 结果 


”过 17-34 MRP 计算 
序 号 9 
测试 项 目 | MRP 计算 
数据 来 源 | 主 生产 计划 20030100001、 基 础 数据 


操作 或 输 | 、_- ， 、 
入 数据 进行 MRP 计算 
计划 生产 定单 (数据 项 不 允许 修改 ); 


| | 物料 | 物料 | 生产 | 单 | 工作 | 计划 开 | 计划 完 | ”计划 | 排 产 
代码 | 名 称 | 数量 | 位 | 中 心 | 工 日 期 | 工 日 期 | 令 号 | 方式 | 
] | 家 用 总 装 | 
| 本 可 HE 


代码 “| 名 称 | 数量 | 位 | 中 心 | 工 日 期 | 工 日 其 令 号 | 方式 
wo |e] » | [8 war ens on on 


计划 请 购 单 “数据 项 不 允许 修改 ): 
计划 | 排 产 
令 号 | 方式 


预期 结果 


三 多 [物料 [采购 单 。 | 计划 采 | 计划 
| 代码 | 名 称 | 数量 | 位 购 日 期 | 货 日 期 
的 训 口 利加 加 二 一 品 
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友 号 8 
单 部 门 计划 采 | 计划 到 
位 | 购 日 期 | 货 日 期 令 号 方式 
代码 | 名称 | 数量 | 位 | ” 购 日 期 | 货 日 期 令 号 方式 
ew se |» [+ [BE [om eens 


代码 “| 名 称 | 数量 | 位 购 日 期 | 货 日 其 令 号 方式 


库存 中 主机 、 键 稚 、 硬 盘 、 内 存 、 段 标的 可 用 基 变 为 0; CPU 的 可 用 量变 为 40:; 主板 
的 可 用 量变 为 30、 显 示 器 的 可 用 志 变 为 10、 机 箱 的 可 用 址 变 为 40 


预期 结果 


表 17-35 计划 生产 定单 下 达 
序 号 10 
测试 项 目 下 达 计 划 生 产 定单 200301000011、200301000012 
数据 来 源 计划 生产 定单 


操作 或 输入 数据 “| 下 达 计 划 生 产 定单 为 车 间作 业 计 划 
下 达成 功 。 在 生产 管理 模块 的 车 间作 业 计 划 中 能 够 查询 到 作业 计划 号 为 


现 期 结 米 ZY200301000011 和 ZY200301000012 的 作业 计划 
实际 结果 
家 17-36 ”计划 请 购 单 下 达 
奈 号 11 
测试 项 中 下 达 计 划 请 购 单 
数据 来 源 计划 请 购 单 200301000013、200301000014、200301000015、200301000016 


操作 或 输入 数据 | 下 达 计 划 生 产 定单 为 计划 采购 定单 
下 达成 功 。 在 采购 管理 模块 的 计划 采购 定单 中 能 够 查询 到 定单 号 为 


预期 结果 CG200301000013、CG200301000014 和 CG200301000015、CG200301000016 的 
计划 采购 定单 2 
实际 结果 
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_ 说明， 这 部 分 的 测试 用 例 模拟 了 计划 管理 模块 根据 计划 需求 、 物 料 库存 量 及 其 他 基 
础 数据 按照 一 定 的 算法 进行 计算 ， 得 到 计划 生产 定单 、 计 划 请 购 单 并 进行 下 达 的 过 程 。 
其 中 MPS 计算 、MRP 计算 的 算法 较 复 杂 ， 而 且 各 ERP 软件 也 不 同 ， 需 要 参考 软件 设计 
说 明 书 。 

从 期 初 库存 可 以 看 出 ,库存 中 有 50 台 家 用 电脑 可 以 用 ， 在 进行 完 MPS 计算 后 这 50 
台电 脑 已 经 分 配给 了 销售 定单 200301001, 这 时 在 销售 管理 模块 中 已 经 可 以 对 这 50 台电 
脑 进行 发 货 了 。 


表 17-37 销售 发 货 单 1 
序 号 12 
测试 项 目 | 销售 发 货 单 
数据 来 源 | 销售 定单 、 基 础 数据 、 计 划 管 理 


霹 作 或 条 
入 数据 生成 钳 售 发 货 单 


销售 发 货 单 ; 


FG20030100] | 200301000004 


实际 结果 
表 17-38 销售 出 库 1 
序 号 13 
测试 项 目 | 销售 出 库 
数据 来 源 销售 发 货 单 
挫 作 或 输入 数据 根据 销 亿 发 货 单 FG200301001 进行 销售 出 库 操 作 
| 查询 库存 中 物料 的 数 是 为 ; 

预期 结果 
实际 结果 

4. 采购 管理 

(1》 流 程 图 
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采购 管理 流程 图 如 图 17-8 所 示 。 


Ri 
采购 入 库 单 

否 

采购 退货 音 


图 17-8 ”采购 管理 流程 图 
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(2〉 用例 步骤 及 数据 
如 表 17-39 至 表 17-48 所 示 为 采购 管理 模块 测试 用 例 步 骤 及 数据 。 


家 17-39 计划 采购 定单 
序 号 14 
测试 项 目 | 计划 采购 定单 查询 
数据 来 源 | 计划 请 购 单 、 基 础 数据 


入 数据 查询 计划 采购 定单 


得 询 到 计划 采购 定单 ; 


er 


ET ET CTT EET 


| 类 型 | 来 源 | 数量 | 单价 (元 ) | 采购 日 期 | 到 货 日 期 


预期 结果 |[CG200301000014 | 硕 盘 | 原材料 | 外 购 | 10 个 | 1000.00 |2003-1-16| 2003-1-20 
| 定单 号 | 名 称 | 类 型 | 来源 | 数 生 | 单价 (元 )| 采购 日 期 | 到 货 日 期 


| 


定单 号 。 | 名 称 | 类 型 | 来 源 | 数 且 [单价 (元 | 采购 日 期 | 到 货 日 期 
|Lce200301000016 | 隐 标 | 原材料 | 外 购 | 40 个 | 50 | 2003-1-7 | 2003-1-9 


家 17-40 ”计划 采购 定单 确认 
序 与 z 15 
测试 项 目 | 计划 采购 定单 确认 
数据 来 源 | 计划 采购 定单 
操作 或 输 | 确认 计划 采购 定单 CG200301000013 、CG200301000014 、CG200301000015 、 
入 数据 CG200301000016 生成 采购 定单 


生成 采购 定单 〈 数 据 项 供应 商 、 单 价 和 数量 可 以 修改 ); 
预期 结果 (UL) 日 期 日 期 
CG200301| 碑 材 |， | | | 供应 | 未 审 
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预期 结果 


实际 结果 


序 号 
测试 项 目 
数据 来 源 
操作 或 输 
入 数据 


预期 结果 
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14 
单价 采购 到 货 
供应 未 审 
EE 


hhh ed 
B 核 

单价 一 本 采购 上 到 货 
供应 商 未 市 
人 | 50 | am| SR™ | zol 下 


“” 囊 17-41 采购 定单 审核 1 
16 


料 


Ea 


: 名 称 
CG200301| ， - 
000016 


采购 定单 审核 

采购 定单 

对 采购 定单 CG200301000014、CG200301000015、CG200301000016 

进行 审核 操作 ;对 采购 定单 CG200301000013 进行 驳回 操作 

状态 为 “已 审核 ”的 采购 定单 不 可 以 再 修改 ， 状 态 为 “驳回 ”的 采购 定单 在 上 一 级 修改 


, 、 -| 单价 ， 采购 收 货 
CG20030 原 材 供应 
a ee . ,| 单价 上 供应 采购 到 货 
CG20030 原 材 10 供应 己 审 
ae [ow] § | 00 [os 8 [oom olen 
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348 


预期 结果 | 


实际 结果 | 


犀 与 
测试 项 目 
数据 来 源 
操作 或 输 
入 数据 


预期 结果 


实际 结果 


序 号 


测试 项 目 
数据 来 源 
操作 或 办 
入 数据 


软件 评测 师 教 程 
续 表 


es 
|cG20030| ,| 原 材 40 供应 已 审 | 
eden le» [ee [Soe fe 


器 17-42 采购 定单 审核 2 
17 


状态 


采购 定单 审核 
采购 定单 


对 修改 后 的 采购 定单 CG200301000013 进行 审核 操作 


状态 为 “已 审核 ”的 采购 定单 不 可 以 再 修改 状态 为 “驳回 ”的 采购 定单 在 上 一 级 修改 
后 ， 可 再 送审 


CG20030 原 材 已 审 
人 


过 17-43 采购 收 货 单 


18 
采购 收 货 单 


| 采购 定单 、 手 工 录 入 


根据 采购 定单 CG200301000014、CG200301000015、CG200301000016、 CG200301000013 


| 生成 收 货 单 〈 此 处 暂 不 考虑 日 期 ) 


www.lTopSage.com 


第 17 意 ”功能 测试 $49 
续 表 


18 
生成 收 货 单 : 

相关 采购 | 收 货 wo | 应 收 | 实 收 | 

I ele en ee 
CG200301 | sHo0 原 材 | 。 人 | 供应 商 | 原 材 oo 


相关 采购 | 收 货 , | 应 收 | 实 收 , 
CG20030 | SH00 | 。 -上 原 材 a 原 材 


相关 采购 | 收 货 . | 应 收 | 实 收 
wa 
CG20030] | SH000 | _.. 原 材 较 供应 | 原 材 


相关 采购 | 收 货 ww | 应 收 | 实 收 
CG200301 | SH000 原 材 人 | 供应 商 | 原 材 


表 17-44 采购 请 验 单 
序 号 19 
测试 项 目 | 采购 请 验 单 : 
数据 来 源 | 采购 收 货 单 
操作 或 输 | 根据 采购 收 货 单 SH000001、SH000002、SH000003、SH00004 生成 请 验 单 
入 数据 
生成 请 验 单 : 


预期 结果 


预期 结果 
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530 


期 结 果 | 


实际 结果 | 


序 号 
测试 项 目 
数据 来 源 
操作 或 输 
入 数据 


QY000002 | BG000002 | 限 标 | 原材料 | 外 购 | 40 个 | 4 个 | 0 | | 
| [双生 号 | 报 各 号 名 称 | 类 型 [来 源 | 关机 数 全 [合格 数 晤 [不 合格 数 斌 [ 奈 因 


软件 评测 师 教程 


Err 


SH000002 QY000 


| 相关 收 货 单 号 | 请 验 单 号 


SH000004 | QY000004 


过 17-45 采购 检验 报告 
20 


| 采购 检验 报告 


请 验 单 ， 手 工 录入 
生成 采购 检验 报告 ， 内 存 不 合格 数量 为 3， 其 他 全 部 合格 


生成 采购 检验 报告 
| 请 验 单 号 | 报告 号 | 名称 | 类 型 | 来 源 | 送 检 数 量 | 合格 数量 | 不 合格 数 重 | 原因 ， 
| Qyoooool | BG000001 | 键盘 | 原材料 | 外 购 | 50 个 | 5 个 | 0 | | 


请 验 单 号 报告 号 [名称 | 类型 | 来源 [ 送 析 数 是 [合格 数量 | 不 合 客 数 生 | 原因 


QYooo003|BGoo0003 | 硬盘 | 原材料 | 外 购 | 10 个 | 10 个 | 0 | 


合 | 


实际 结果 | 


| | ] 不 能 正 
人 人 本 | 人 | 人 | ， | 和 营 工 人 


www.TopSage.com 


序 号 
测试 项 目 
数据 来 源 
氛 作 或 输 
入 数据 


预期 结果 


实际 结果 


序 号 
测试 项 目 
数据 来 源 
操作 或 输 
入 数据 


项 期 结 末 


实际 结果 
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家 17-46 采购 入 库 单 


21 

采购 入 库 单 

采购 检验 报告 

根据 检验 报告 BG000001、BG000002、BG000003、BG000004 生成 采购 入 库 单数 据 项 
不 允许 修改 ) 


生成 采购 入 库 单 : 


BG000004 | RK000004 内 存 
表 17-47 ”采购 入 库 
22 
采购 入 库 
采购 入 库 单 
进行 采购 入 库 拘 作 
查询 库存 中 物料 的 数量 为 ; 


30-C005 


原材料 库 


机 箱 
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家 17-48 ”采购 退货 单 
序 号 | 23 
测试 项 目 | 采购 退货 单 
数据 来 源 | 采购 检验 报告 


下 二 | 根据 采购 检验 报告 BG000004 生成 采购 退货 单 
采购 退货 单 


预期 结果 | | 检验 报告 号 
生计 让 汪汪 原材料 | 外 购 
实际 结果 


说 明 : 近 半 分光 用 例 模 二 工 5 生 风 守 汪 全 失 轴 后 WR ED 
进行 物料 采购 、 采 购 质 检 和 采购 入 库 的 过 程 。 

在 进行 采购 收 货 单 测试 时 ， 我 们 为 了 用 例 设 计 方 便 ， 在 不 影响 测试 效果 的 前 提 下 ， 
暂 不 考虑 时 间 问 题 。 在 质 检 报告 中 有 3 个 不 合格 的 内 存 ， 对 这 3 个 内 存 ， 生 成 退货 单 退 
货 后 ， 可 以 根据 退货 单 ， 再 生成 采购 定单 ， 此 处 不 再 举例 。 

5， 生 产 管 理 

(1) 流程 图 

如 图 17-9 所 示 为 生产 管理 流程 图 。 


车间 作业 计 划 
[RE e 生产 出 库 
| 生产 工序 管理 


返工 计划 [外 
图 17-9 ”生产 管理 流程 图 
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(2) 用 例 步骤 及 数据 
如 表 17-49 至 表 17-68 所 示 为 生产 管理 模块 测试 用 例 及 数据 。 


表 17-49 车 间作 业 计 划 
序 号 24 
测试 项 目 | 车 间作 业 计 划 查 询 
数据 来 源 | 计划 生产 定单 
操作 或 输 | 查询 车 向 作业 计划 
入 数据 


查询 到 ZY200301000011: 


物料 [物料 [生产 | 工序 | 计划 开 『 计划 完 本 
oa] [6 [ova sn ens oles aaa 


查询 到 ZY200301000012: 


物料 | 物料 | 生产 | 工序 | 计划 开 | 计划 完 | 。，. 


20-Co01 | 主机 | 10 | 台 | 加工 一 线 | 加 工 | 2003-1-21 | 2003-1-22 |ZY200301000012| 


预期 结果 


家 17-50 ”限额 领 料 单 
奈 号 25 
测试 项 目 | 限额 领 料 单 
数据 来 源 | 车 间作 业 计 划 、 基 础 数据 


操作 或 输 | 
入 数据 。 | 生成 限额 领 料 音 


生成 限额 领 料 单 ; 


预期 结果 
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| | 领 料 单 号 | 作业 计划 号 | 物 笠 编 三 


Er 


实际 结果 


说 明 ; 限额 领 料 单 中 主机 的 应 发 数量 是 40 台 ， 比 实际 需要 少 了 10 台 ， 这 是 因为 另 
外 10 台 是 由 上 一 道 工序 〈 即 : 加 工 一 线 ) 生产 、 通 过 工序 转移 交 给 总 装 一 线 的 。 


表 17-51 生产 出 库 
序 号 | 26 
测试 项 目 | 生产 出 库 
数据 来 源 | 限额 领 料 单 、 库 存 数据 
操作 或 输 | 进行 生产 出 库 操作 
入 数据 
| 查询 限额 领 科 单 


om i 由 | 
LL000011 和 |。 总 装 一 线 
| 


er | 
30-C003 | 琶 明 | 10 | 10 | 
30-C004 | 内 存 | 20 | 20 | 加工- 线 ， 
| 30coo6 | 主板 | 10 | 1 | 
[30coo8 | 机 箱 | 10 | 10 


预期 结 采 | 


LLO00012|ZY200301000012| 
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预期 结果 


实际 结果 


友 号 
测试 项 目 
数据 来 源 
撕 作 或 输 
入 数据 


预期 结果 


实际 结果 
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30-L004 


罗 


30-C007 


表 17-S$2 工序 报告 单 1 
27 
工序 报告 单 
车 间作 业 计 划 ZY20030100001] 


生成 工序 报告 单 ， 为 了 简化 过 程 ， 已 产 数量 直接 设 为 40 


工序 报告 单 : 


| 计 计划 

报告 | 物料 | 生产 [已 产 | .| 工作 J 
ey 单位 刘 元 工 

单 号 “| 名 称 | 数量 | 歼 生 | 


$555 


实际 
开工 
时 间 


期 
pt | 2003-1-10 | 2003-1-23 |2003-1-10 否 
1000011 | 电脑 ”| 一线 - I ee . 
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表 17-53 工序 报告 单 2 
序 号 28 
测试 项 目 | 工序 报告 单 
数据 来 源 | 车 间作 业 计 划 ZY200301000012 


操作 或 输 | 。 ，_ 。 ns 
入 数据 。 | 生成 工序 报告 单 ， 已 产 数量 十 5 


预期 结果 | 工序 报告 单 ; 


弛 各 | 和 生产 | 已 产 | It T 序 | = | 
了 一 一 数 竹 | 位 | 中 心 | 名 称 | 日 


ll 


表 17-54 工序 转移 单 1 
序号 29 
测试 项 目 | 工序 转移 单 
数据 来 源 | 工序 报告 单 


_ 实 际 结果 


操作 或 输 ee 
入 数据 。 | 生成 工序 转移 音 
工序 转移 单 : 
预期 结果 | 
实际 结果 
家 17-55 工序 接收 单 1 
序 号 30 
测试 项 目 工序 接收 单 
数据 来 源 工序 转移 单 
操作 或 输入 数据 上 生成 工序 接收 单 
| 工序 接收 单 ， 
预期 结果 | 接收 数量 “| 是 否 质 检 “| 接收 时 间 
0 
实际 结果 
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友 号 
测试 项 目 
数据 来 源 
氛 作 或 输 
入 数据 


预期 结果 


实际 结果 


序 号 
测试 项 目 
数据 来 源 
操作 或 输 
入 数据 
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家 17-56 工序 报告 单 3 


31 
工序 报告 单 
车 间作 业 计 划 ZY200301000011 


修改 工序 报告 单 中 的 已 产 数量 为 45 


工 厚 报告 音 


报告 | 物料 | 生 产 | 已 产 | 单 | 工 作 | 工序 | 
单 号 “| 名 称 | 数 量 | 数量 | 位 | 中 心 | 名 称 

rl et 
0000]1 | 电脑 


家 17-57 工序 报告 单 4 
32 


工序 报告 单 

车 间作 业 计 划 ZY200301000012 
修改 工 岸 报告 单 已 产 数 址 为 10 
置 完工 


序 号 
测试 项 目 
数据 来 源 
操作 或 输 
入 数据 


GX20030| 
总 装 |2003-1-21| 2003-1-22|2003-1-21 |2003-1-22 


家 17-58 工序 转移 单 2 


33 
工序 转移 单 

工序 报告 单 

生成 工序 转移 单 
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序 号 | 33 
二 


搜 期 结果 


串 17-59 工序 接收 单 2 


序号 34 
测试 项 目 | 工序 接收 单 
数据 来 源 | 工序 转移 单 ， 


| 生成 工序 接收 音 


表 17-60 工序 报告 单 $ 


| 35 
测试 项 目 | 工序 报告 单 

数据 来 源 | 车 间作 业 计 划 ZY200301000011 

操作 或 输 | 修改 工序 报告 单 中 的 已 产 数量 为 50 

入 数据 ” | 置 完工 


工 岸 报告 单 ; 


家 用 | 


实际 结果 
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序 号 
测试 项 目 
数据 来 源 
操作 或 输 
入 数据 


预期 结果 


实际 结果 


序 号 
测试 项 目 
数据 来 源 
氛 作 或 输 
入 数据 


预期 结果 
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琢 17-61 请 验 单 
36 
请 验 单 
工序 报告 单 
生成 请 验 单 


请 验 单 ， 


相关 报告 单 号 


50 个 


表 17-62 检验 报告 
37 
检验 报告 
请 验 单 、 手 工 录入 


生成 检验 报告 ， 不 合格 数量 为 5， 其 中 返工 2， 废 品 3 


检验 报告 ， | 


QYo00001 | BG000005 | 家 用 电脑 | 产 成 品 | 制造 | 50 台 | 45 台 | 5 台 
- | \ 


废品 报告 


返工 报告 
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家 17-63 生产 入 库 单 
序号 38 
测试 项 目 | 生产 入 库 单 
数据 来 源 | 生产 检验 报告 


操作 或 输 | 
入 数据 生成 生产 入 库 单 〈 数 据 项 不 允许 修改 ) 
生产 入 库 单 ， 
预期 结果 
| 
实际 结果 
表 17-64 生产 入 库 
序号 | 39 


测试 项 目 | 生产 入 库 
数据 来 源 | 生产 入 库 单 RK000005 


操作 或 输 | 、，，_ 
入 数据 。 | 进行 生产 入 库 操作 
| 查询 库存 中 物料 的 数量 为 ， 
天 期 结果 | | 仓库 。 | 物料 编码 | 物料 名 称 安全 库存 物料 批号 
| 成品 库 | io-Cool | 家 用 电脑 | 5 | 10 | 4 | 
实际 结果 | 
表 17-65 废品 报告 
序号 40 
测试 项 目 | 废品 报告 正确 流转 
数据 来 源 | 废品 报告 
操作 或 输 | 查询 计划 需求 
入 数据 | 
预期 结果 | 可 以 查 到 废品 报告 BG0000051， 数 据 项 不 允许 修改 


实际 结果 


www.TopSage.com 


序 号 
测试 项 目 
数据 来 源 
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预期 结果 


实际 结果 
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表 17-66 返工 计划 


41 
返工 计划 

返工 报告 

根据 返工 报告 BG0000052 生成 返工 计划 


返工 计划 ; 

物料 [物料 [ 运 工 [一 T 工 作 计划 开 『 计划 完 | 

计划 
衣 用 总装 

[a a oe ml 

物料 [物料 | 返工 作 计划 开 计划 完 

a 


说 明 : 这 部 分 测试 用 例 模拟 了 ， 生 产 管理 模块 根据 计划 管理 模块 下 达 的 车 间作 业 计 
划 ， 进 行 生产 领 料 、 工 序 转移 、 生 产 完工 、 生 产 质 检 、 生 产 入 库 的 过 程 。 

现在 我 们 应 该 转 入 销售 发 货 管理 模块 ， 由 于 生产 中 出 现 5 台 不 合格 产品 ， 所 以 为 了 
不 影响 发 货 日 期 ， 使 用 安全 库存 ，5 台 不 合格 产品 重新 生产 以 后 ， 再 将 安全 库存 补 上 。 


序 号 
测试 项 目 
数据 来 源 
操作 或 输 
入 数据 


预期 结果 


实际 结果 


家 17-67 销售 发 货 单 2 
42 
销售 发 货 单 
生产 入 库 单 、 销 售 定 单 、 基 础 数据 


根据 销售 定单 200301001、 生 产 入 库 单 RK000005 生成 销售 发 货 单 


销售 发 货 单 : , 
定单 | 已 发 | 此 次 发 销售 
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家 17-68 ”销售 出 库 2 

序 号 43 
测试 项 目 销售 出 库 
数据 来 源 销售 发 货 单 


i 人 根据 销售 发 货 单 FG200301001 进行 销售 出 库 操作 
查询 库存 中 物料 的 数量 为 
预期 结果 
| 合同 自动 结案 
实际 结果 


在 实际 测试 中 还 会 经 常用 到 错误 推测 法 ， 错 误 推测 设计 方法 就 是 基于 经 验 和 直觉 推 
测 程序 中 所 有 可 能 存在 的 各 种 错误 ， 从 而 有 针对 性 地 设计 测试 用 例 的 方法 。 这 种 方法 对 
测试 工程 师 的 要 求 较 高 ， 需 要 用 丰富 的 测试 经 验 以 及 行业 知识 。 例 如 ;在 测试 采购 检验 
报告 时 ， 就 可 以 推测 该 功能 在 逻辑 性 校 验方 面 可 能 出 错 ， 大 部 分 软件 在 数据 类 型 方面 都 
作 了 校 验 ， 但 逻辑 性 校 验 做 得 不 太 好 。 如 表 17-69 所 示 为 逻辑 性 检验 测试 案例 。 


天 17-69 运 辑 性 检验 测试 案例 
序 号 】 
测试 项 目 | 采购 检验 报告 
数据 来 源 | 请 验 单 ， 手 工 录 入 
Re 生成 采购 检验 报告 ， 内 存 合格 数量 为 18， 不 合格 数量 为 S， 其 他 全 部 合格 
生成 采购 检验 报告 ; 


| 请 验 单 号 / 不 合格 数 遇 | 


预期 结果 


| | QY000003 |BG0 


| 请 验 单 号 
BG000003 
| 保存 内 存 的 检验 报告 时 系统 提示 ;“ 总 数 大 于 送 检 数量 ”。 你 存 不 成 功 


实际 结果 | 


www.TopSage.com 


第 17 章 功能 测试 563 


这 个 例子 是 用 错误 推测 法 设计 功能 点 的 测试 案例 。 在 对 业务 逻辑 进行 测试 时 我 们 也 
可 以 用 到 错误 推测 法 。 例 如 : 有 一 销售 定单 需求 计算 机 数量 是 100 台 交 货 日 期 为 2003 
年 3 月 12 日 ， 库 存 可 用 量 为 零 ， 有 由 预测 计划 产生 的 生产 定单 80 台 正 在 生产 ，2003 年 
3 月 10 日 完工 且 未 锐 其 他 衢 求 占用 。 这 时 在 对 该 销售 定单 进行 MPS 计算 时 应 该 将 这 在 
制 的 80 台 按 可 用 量 考虑 ,计算 结果 为 需要 生产 20 台 计 算 机 。 而 不 是 在 这 80 台 计 算 机 生 
产 完毕 入 库 以 后 ，MPS 计算 时 ， 才 将 其 考虑 在 内 。 这 是 ERP 软件 在 业务 逻辑 上 容易 出 
错 的 地 方 ， 在 实际 测试 中 可 以 根据 上 面 的 描述 设计 具体 的 案例 。 

至 此 我 们 的 测试 用 例 已 基本 介绍 完毕 ,在 用 例 的 设计 过 程 中 我 们 使 用 了 流程 图 驱动 、 
等 价 类 划分 、 边 界 值 分 析 、 因 果 图 等 方法 。 鉴 于 ERP 系统 的 特点 , 为 了 方便 描述 本 实例 ， 
该 用 例 设计 侧重 的 是 其 业务 流 及 数据 流 的 连贯 性 ， 而 数据 的 有 效 性 校 验 不 作为 重点 。 

在 实际 设计 用 例 时 想 要 达到 100% 加 盖 ， 是 不 可 能 完成 的 任务 ， 而 且 从 成 本 的 角度 
讲 也 是 行 不 通 的 ， 尤 其 是 像 ERP 这 种 大 型 的 应 用 软件 ， 我 们 应 该 根据 实际 的 测试 目的 、 
测试 条 件 有 重 操 地 设计 出 “适当 ”的 测试 用 例 。 : 
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18.1 ”综述 


本 节 将 提供 两 个 实例 ， 详 细 地 说 明白 盒 测 试 中 如 何 使 用 玖 态 测 试 和 动态 测试 方法 ， 
以 及 使 用 这 两 种 方法 进行 测试 时 相应 的 测试 内 容 和 测试 用 例 的 设计 过 程 。 

根据 白 合 测试 的 特点， 一 般 我 们 可 以 在 单元 测试 以 及 集成 测试 阶段 ， 使 用 白 盒 筒 试 
的 各 种 方法 ， 到 系统 测试 阶段 ， 软 件 的 系统 结构 已 经 确定 ， 功 能 接口 的 黑 僵 测试 将 居于 
主要 地 位 ， 代 码 级 的 白 盒 测试 退 居 次 位 ， 当 使 用 黑 盒 测 试 的 方法 检查 错误 时 ， 可 以 通过 
代码 检查 定位 错误 的 具体 位 置 ， 或 通过 使 用 性 能 测试 分 析 性 能 的 瓶颈 所 在 ， 或 通过 内 存 
测试 ， 分 析出 错 的 原因 是 否 是 由 于 内 存 使 用 不 当 所 致 。 

与 其 他 测试 相 类 似 ， 白 盒 测试 的 流程 也 由 测试 计划 、 测 试 设计 、 测 试 实施 、 测 试 结 
果 分 析 等 阶段 组 成 。 

前 面 章 节 中 已 经 介绍 了 白 盒 测试 中 主要 使 用 的 生态 测试 和 动态 测试 方法 ， 下 面 将 分 
别 使 用 两 个 例子 进行 具体 说 明 。 

。 ”在 静态 测试 中 将 使 用 一 个 汽车 车 身 控制 的 软件 示例 ， 测 试 内 容 包 括 静 态 结构 分 

析 和 代码 质量 度量 。 
。 ”在 动态 测试 中 将 使 用 一 个 计算 器 的 程序 示例 ， 测 试 内 容 为 粮 瘟 率 测 试 。 


18.2 ” 衣 态 测试 


汽车 车 身 控 制 软件 用 C 语言 编写 ， 是 用 于 汽车 控制 的 软件 ， 主 要 包括 电动 车 窗 、 遥 
控 中 央 门 锁 与 防盗、 外 车 灯 、 车 内 灯 、 后 窗 及 后 视 镜 加 热 延 时 和 手动 两 刮 控 制 6 个 模块 。 
se 测试 环境 。 
Q@ 硬件 。 普 通 PC 机 ， 
CPU:，PIII 600Hz; 
内 存 : 128MB: 
硬盘 : 10GB。 
@ 软件 。 
操作 系统 ，Windows 2000 Professional 中 文 版 ; 
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编译 系统 ;Visual Studio 6.0。 
。 测试 工具 。 
使 用 Telelogic 公司 的 Logiscope $.1 作为 测试 工具 。 


18.2.1 静态 测试 结果 结构 分 析 


使 用 测试 工具 Logiscope 对 上 述 汽车 车 身 控制 软件 进行 静态 结构 分 析 时 ， 可 以 得 到 
以 下 几 种 主要 图 形 。 | 
。 ”函数 调用 关系 图 : 以 直观 的 图 形 方 式 描 述 了 一 个 应 用 程序 中 各 个 函数 的 调用 和 
被 调用 关系 ; 
。 ”模块 控制 流 图 ， 显 示 一 个 函数 的 内 部 逻辑 结构 ; 
。 ”内 部 文件 调用 关系 图 以 图 形 方式 描述 了 应 用 程序 中 各 个 文件 间 的 调用 和 被 调 
用 关系 。 . 
1 范 数 调用 关系 图 
如 图 18-1 所 示 是 汽车 车 身 控制 软件 的 函数 调用 关系 图 , 图 中 的 每 一 个 方块 代表 一 个 
函数 ， 方 块 内 的 数字 代表 函数 的 编号 。 从 图 可 知 ， 该 应 用 程序 从 上 到 下 分 为 7 层 ， 包 括 
44 个 函数 ， 函 数 之 间 没 有 存在 递归 调用 的 情况 ， 结 构 比较 简单 。 


”图 18-1 函数 调用 关系 图 
44 个 函数 中 编号 为 18、19、37、40 和 42 的 函数 被 调用 次 数 较 高 ， 其 他 函数 功能 的 
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正确 实现 严重 依赖 于 这 些 函 数 , 它们 的 质量 好 坏 对 系统 的 影响 
明显 要 商 于 其 他 函数 ， 因 此 可 认为 属于 重要 函数 ， 需 要 加 强 对 
它们 的 测试 ， 例 如 使 用 较 高 的 代码 轿 盖 率 要 求 等 措施 ， 其 他 函 
数 属于 次 要 函数 ， 可 以 采用 较 低 的 代码 团 盖 率 要 求 。 

2. 文件 调用 关系 图 

文件 调用 关系 图 与 函数 调用 关系 图 相 类 似 , 它 体现 了 文件 
之 辐 的 依赖 关系 。 

如 图 18-2 所 示 即 为 上 述 汽车 车 身 控制 软件 的 文件 调用 关 
系 图 ， 其 中 的 方块 代表 各 源 文件 及 其 编号 ， 由 图 可 知 ， 该 软件 
包括 6 个 源 文 件 ， 按 结构 组 成 可 分 为 5 层 ， 结 构 简 单 。 

3。 模块 控制 流 图 

如 图 18-3 所 示 是 被 测 汽车 车 身 控制 软件 中 函数 n_Pulse_ Counter 的 模块 控制 流 图 。 
通过 该 图 可 以 看 出 ， 该 函数 有 一 个 入 口 和 一 个 出 口 ， 3 个 不 眶 套 的 判断 结 点 ， 结 构 比较 
简单 ， 易 于 实现 和 理解 ， 属 于 非常 好 的 结构 。 


图 18-2 文件 调用 关系 图 


图 18-3 ”模块 控制 流 图 


该 汽车 车 身 控制 软件 的 模块 控 制 流 图 绝 大 部 分 与 如 图 18-3 所 示 相似 , 均 必 于 比较 好 
的 结构 ， 没 有 存在 重大 缺陷 。 


18.2.2 ”静态 质量 度量 分 析 


1， 质量 度量 模型 

静态 质量 度量 法 通过 使 用 质量 度量 模型 分 析 程 序 的 复杂 性 ， 引 用 复杂 度 参 数 来 度量 
软件 是 否 易 于 理解 、 是 否 可 读 、 是 否 方便 维护 、 是 否 可 靠 。 建立 的 质量 度 二 模型 遵循 
ISO 9126、DO-178B、SELCMM 标准 ， 描 述 了 Halstead、McCabe 的 度量 方法 学 和 质量 
因素 (可 维护 性 、 可 重用 性 等 ) 和 质量 准则 (可 测试 性 、 可 读 性 等 )， 使 用 多 种 参数 ， 包 
括 圈 复杂 度 ， 强 化 复杂 度 ， 设 计 复杂 度 ， 集 成 复杂 度 ， 代 码 行 数 ，Halstead 复杂 度 等 ， 
例如 ; 可 执行 语句 数 、 运 算 符 总 数 、 运 算 符 频 度 、 操 作 数 总 数 、 操 作 数 频 度 、 函 数 中 算 
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子 和 算法 出 现 频 度 、 函 数 内 调用 函数 的 总 数 、 直 接 调用 函数 的 数量 、 调 用 本 项 数 的 上 级 
函数 数量 、goto 语句 数量 、 类 和 函数 的 扇 入 扇 出 、 注 释 行 的 比例 、 语 名 函数 、 平 均 语 名 
长 度 、 函 数 参 数 数量 、 基 本 图 复杂 度 ， 可 以 用 于 全 面 而 系统 地 评价 整个 软件 系统 的 质量 。 

在 静态 质量 度量 中 ， 质 量度 量 模型 是 我 们 的 测试 用 例 。 | z 

2. 测试 结果 z 

上 述 汽 车 车 身 控制 软件 的 静态 质量 度量 结果 包括 如 下 内 容 。 

e。 Metrics Kiviat 图 ; 

e。 Criteria Kiviat 图 ; 

。 ”Criteria 分 布 图 ; 

e。 ”Factors 分 布 图 。 / 

其 中 对 于 程序 中 的 每 个 函数 或 方法 ， 我 们 测量 出 其 所 有 Metrics 参数 ， 并 使 用 一 个 
多 轴 极 坐标 系 来 表示 ， 所 得 到 的 图 称 为 Metrics Kiviat 图 ;按照 各 Metrics 参数 所 属 的 
Criteria 划分 后 所 得 到 的 Kiviat 图 称 为 Criteria Kiviat 图 ， 按照 质量 模型 将 软件 所 有 模块 
的 Criteria 取 值 分 级 后 ， 统 计 各 级 别 模块 的 比例 ， 用 直方 图 表示 ， 即 可 得 到 Criteria 分 布 
图 ; 同样 地 按照 质量 模型 将 软件 所 有 模块 的 Factors 取 值 分 级 后 , 用 饼 图 表示 各 级 别 模块 
的 比例 ， 即 可 得 到 Factors 分 布 图 。 

(1) Metrics Kiviat 

如 图 18-4 所 示 是 函数 EXT_LMP 的 Metrics Kiviat 图 。 图 中 的 每 一 根 极 轴 代 表 一 个 
Metrics 参数 ， 所 有 参数 的 归 一 化 最 小 值 和 最 大 值 组 成 两 个 同心 贺 ， 当 参数 的 取 值 位 于 这 
两 个 同心 圆 之 间 时 ， 表 示 满 足 质量 模型 要 求 ， 否 则 该 参数 不 符合 横 型 质量 要 求 。 


NBCALLING 
GOTO RE 
VOCF \. DRCT CALLS 
SS LEVL 
COMF 
PATH 
AVGS 
PARA 
STMT 
PPpp 
VG 
IND_CALLS 
TESTBTY 
HIER CPX LEVELS STRU_CPX 


”图 18-4 函数 EXT LMP 的 Metrics Kiviat 图 
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函数 EXT_LMP 的 VOCF、LVAR 和 STMT 参数 值 超 过 标准 要 求 。 

其 中 ，VOCF 值 过 高 ， 意 味 着 该 函数 包含 太 近似 的 ， 甚 至 是 重复 的 语句 ， 这 样 在 维 
护 时 ， 由 于 许多 改动 可 在 每 处 重复 的 代码 处 进行 ， 从 而 引入 错误 的 风险 增 大 ， 这 样 的 缺 
陷 ， 可 以 通过 将 原 代码 重复 语句 分 解 为 可 多 处 调用 的 子 函数 来 改进 。 

LVAR 值 过 高 也 会 对 维护 带 来 不 利 ， 因 为 不 得 不 花 更 多 的 精力 理解 这 些 变量 ， 当 对 
变量 理解 有 误 时 会 带 来 风险 ， 存 在 这 样 的 缺陷 时 ， 首 先 要 确认 局 部 变量 已 全 部 被 使 用 ， 
如 果 变 量 数 仍 过 多 ， 应 该 将 函数 分 解 成 子 函 数 来 处 理 。 

STMT 值 过 高 表示 函数 内 可 执行 语句 较 多 ， 经 验 表 明 ， 越 多 的 可 执行 语句 数 代表 着 
可 执行 的 操作 越 多 ， 也 意味 要 花 更 多 的 精力 去 理解 该 函数 ， 因 此 对 一 个 函数 内 的 可 执行 
语句 数 应 有 限制 。 这 样 的 缺陷 可 以 采取 以 下 方法 解决 : 将 函数 分 解 ， 提 供 更 好 的 层次 性 ， 
提高 可 维护 性 。 

(2) Criteria Kiviat 

如 图 18-5 所 示 为 函数 EXT_ LMP 的 Criteria Kiviat 图 ， 对 于 每 一 个 函数 均 可 得 到 一 
个 Criteria Kiviat 图 。 


WS 


NS "Gg 
会 经 


图 18-5 函数 EXT LMP 的 Criteria Kiviat 图 


(3) Criteria 分 布 图 

如 图 18-6 (a)、(b)、(c)、(d)、(e)、(f、(g) 所 示 是 Criteria 层 7 个 分 类 标准 ，function_ 
TESTABILITY、function STABILITY、fPunction CHANGEABILITY、 function_ 
ANALYZABILITY 、relativeCall ANALYZABILITY、relativeCall_STABILITY 和 
relativeCall TESTABILITY 的 各 等 级 模块 分 布 比例 图 。 
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% function_TESTABILITY 


EXCELL GOOD “FAIR POOR 
(a) 
% function. STABILITY 


EXCELLENT GOOD FAIR “*- POOR 
(b) 
% function CHANGEABILITY 


(c) 
阳 18-6 ”Criteria 分 布 
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3710 


function ANALYZABILITY 


3 
POOR 


1 


一 
Er 


ne oe se 


FAIR 


EXCELLENT GOOD 


(d) 


relativeCall TESTABILITY 


.6 


et 
ee 


ee 


i 


R 


P 


OD 


EXCELLENT 


(e) 


relativeCall_STABILITY 


R 


P 


GOOD 


(0) 


图 18-6 ( 续 ) 
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relativeCall_ ANALYZABILITY 


0.0 a 0.0 


GOOD POOR 
(g) 
18-6 〈 续 ) 


从 图 18-6 可 以 看 出 ， 该 软件 Criteria 层 除 rejativeCall_Stability 参数 外 ， 其 他 参数 属 
于 优良 等 级 的 模块 均 超过 了 80%， 符 合 要 求 。 

(4) Factors 分 布 

如 图 18-7 所 示 为 Factors 分 布 图 。 


EXCELLENT. 19.0% 


COOD: 69.0% a 
FAIR: 11.9% 


(a) function MAINTAINABILITY 


EXCELLENT: 95.2% 
“ FAIR: 2.4% 
GOOD: 2.4% 


Cb) relativeCall_MAINTAINABILITY 
18-7 Factors 分 布 图 
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对 于 一 般 的 应 用 软件 来 说 ， 其 Factors 层 属于 优良 等 级 的 模块 应 超过 80%， 否 则 ， 
需要 根据 度量 结果 进行 修改 ， 以 满足 该 要 求 。 该 应 用 软件 Factors 层 function_MAINTAI- 
NABILITY 和 relativeCall MAINTAINABILITY 参数 达到 良好 以 上 等 级 的 模块 超过 80%， 
满足 要 求 。 


18.3 ”和 窗 盖 率 测试 


在 覆盖 率 测 试 中 我 们 将 使 用 一 个 计算 器 的 程序 示 
例 ， 该 程序 用 C++ 语言 编写 ， 实 现 整数 与 泽 氮 数 的 四 则 
运算 功能 ， 其 界面 如 图 18-8 所 示 。 

。 测试 环境 。 

Q 硬件。 普通 PC 机 ; 

CPU: PII 600Hz; 
内 存 : 128MB:; 
硬盘 ;10GB。 

@ 软件 。 图 18-8 计算 器 的 程序 示例 界面 

操作 系统 ，Windows 2000 Professional 中 文 版 ; 
编译 系统 : Visual Studio 6.0。 

。 测试 工具 。 

使 用 Applied Microsystems Corporation 公司 的 CodeTest 3.5 作为 测试 工具 。 

由 于 篇 旺 所 限 ， 我 们 将 针对 其 中 一 个 主要 的 函数 “CCacl2Dlg::OnGo0” 设计 测试 用 
例 ， 该 函数 响应 用 户 点 击 按钮 “=” 的 操作 ， 完 成 计算 功能 。 

该 函数 代码 如 下 所 示 。 


void CCacl2Dlg::OnGo() 
{ 


iflm_sfmf == TRUE && m_sfms =— TRUE 有 & m sftmfun 一 TRUE) 11 
{ 

ifrm mfun == 1) /2 

m result = m_mfr + m_msec; /3 

else 1f(m_ mfun = 2) /4 

m_result = m_mfir - rm_misec; /115 

else im_mfbn 一 3) /6 

m result = m_mfir * m_masec; N17 

else iftm_ mfun = 4) 118 
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m_resuit = m_mfir / m_msec; /9 
m_stmf= TRUE， N10 
m_sfms = TRUE; 
m_sfmfun = TRUE, 
m_mfir = m_result; 
m_msec = m_msec; 
m_mfun = m_mfun; 
} 
else iftm_sfmf =— TRUE && m_sfms == FALSE && m_sfmfun — FALSE) a 
{ 
iftm fun = 1) /112 
m_result = m_mfir + m_second; Hl13 
else if(m fun 一 2) /14 
m_result = m_mfir - m_second; j1]5 
else if(tm_fun 一 3) /16 
m_result =m mfir * m_second; 17 
else if(m_fun == 4) /1/18 
m_result = m_mfir / m_second, /19 
m_sfmf = TRUE; /120 
m_sfims = TRUE:; 
m_stmfun = TRUE, 
m_mfir = m_result; 
m_msec = m_second; 
m_mfun = m_fun, 
} 
else if(m_sfmf = TRUE && m _sfms 一 TRUE &R& m_sfmfun 一 FALSE) /1121 
{ 
m_second = m_mfir; /122 
iftm_fun 一 1) /1/123 
m_result =m mifir + m second; /124 
else if(tm_fun 一 2) /125 
m_result = m_mfir - rm_second; /126 
else if(m_fun == 3) j/27 
m_result = m_mifir * m_second; /1128 
else ift{m fn — 4) //29 
m_result = m mfir / m_second; /1/30 
m_sfmf = 了 TRUE; /1131 
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m_sfms = TRUE; 
m_sfmfun = TRUE:; 
m_ mifir = m_result; 
m msec = m second; 
m_mfun = m_fun; 


else iftm sfmf =— FALSE && m sfms — FALSE && m sfmfun — FALSE) 
{ 
iftm EnterSec == FALSE) 
m_ second = m_ first; 
iftm fun = 1) 
m_result = m_ first + m _second, 
else ifrm_ fun = 2) 
m result = m_ first - m _second; 
else if(m_fun == 3) 
m result = m_ first * m_second; 
else if(m_ fun == 4) 
m_result = m_ first / m_second, 
m sfmf = TRUE; 
m_sfms = TRUE:; 
m sfmfun = TRUE; 
m_mfir = m_result; 
m msec = m second; 
m mfun = m_ fun 
| 
m X =m result; 
UpdateData(FALSE)， 
m_ first = 0; 
m second = 0.0; 
m_firstz = 0; 
m_firstx = 0.0, 
m_secondz = 0; 
m secondx = 0.0; 
m firx = FALSE; 
m secx = 下 ALSE; 
m firxw = (; 


m_secxw = 0, 
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//32 


/33 
/134 
1/135 
/136 
1137 
/138 
1139 
/40 
/41 
1/42 
1143 


1144 
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m_firzorf = ]; 

m_seczorf = 1; 

m ForS = 1; 

m EnterSec = FALSE; 
} 


在 闭 盖 率 测试 中 ,我 们 按照 100% 路 径 贸 盖 的 要 求 设计 测试 用 例 ， 这 样 可 以 保证 代码 
中 所 有 的 语句 得 到 执行 。 


18.3.1 测试 用 例 设 计 


1， 以 源 代码 为 基础 ， 导 出 程序 的 控制 流 图 
根据 源 代 码 ， 我 们 导出 如 图 18-9 所 示 的 控制 流 图 。 


18-9 ”控制 流 图 1 


2. 计算 得 到 的 控制 流 图 G 的 环 路 复杂 性 V(G) 
利用 在 前 面 给 出 的 计算 控制 流 图 环 路 复杂 性 的 方法 ， 可 以 算出 : 


www.TopSage.com 


576 软件 评测 师 教 程 


V(G)=22 (区 域 数 ) =21 (判断 结 点 数 ) +1 王 22。 
3. 确定 线性 无 关 的 路 径 的 基本 集 
将 如 图 18-9 中 所 示 的 各 结 点 加 入 对 应 编号 ， 得 到 如 图 18-10 所 示 的 控制 流 图 


图 18-10 控制 流 图 2 


其 中 结 点 1、2、4、6、8、11、12、14、16、18、21、23、25、27、29、32、33、 
35、37、39 和 41 为 判断 结 点 ， 结 点 编号 与 判断 表达 式 对 应 关系 如 表 18-1 所 示 。 


形 18-1 结 点 编号 与 判断 表达 式 对 应 关系 


结 点 编号 | 判 断 表 达 式 
1 | _m sfmf 一 TRUE && m_ sfms 一 TRUE && m_ sfmfun — TRUE 
11 m_sfmf — TRUE && m sfims =— FALSE && m _sfmfun =— FALSE 
21 | mm sfmf=TRUE &é& m sfms 一 TRUE && m sfmfun =— FALSE 
32 | m sfmf== FALSE && m sfims— FALSE && m sfmfun 一 FALSE 
33 | m EnterSec— FALSE 
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结 点 编号 
2、12、 23、 35 
4、14、25、37 
6、 16、27、 39 
8、18、29、41 
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续 表 
判断 表达 式 
m mfun == 1 
m_mfun == 2 
m mfun == 3 
m mfun == 


由 如 图 18-10 所 示 可 知 ，22 条 线性 无 关 的 基本 路 径 为 表 18-2 所 示 的 路 径 。 


序 “号 


= 


10 


家 18-2 基本 路 径 
执行 路 径 
1-2-3-10-44 
1-2-4-5-10-44 
1-2-4-6-7-10-44 
1-2-4-6-8-9-10-44 
1-2-4-6-8-10-44 


1-11-12-13-20-44 
1-11-12-14-15-20-44 
1-11-12-14-16-17-20-44 
1-11-12-14-16-18-19-20-44 
1-11-12-14-16-18-20-44 
1-11-21-22-23-24-31-44 
1-11-21-22-23-25-26-31-44 
1-11-21-22-23-25-27-28-31-44 
1-11-21-22-23-25-27-29-30-31-44 
1-11-21-22-23-25-27-29-31-44 
1-11-21-32-44 
1-11-21-32-33-34-35-36-43-44 
1-11-21-32-33-35-36-43-44 
1-11-21-32-33-34-35-37-38-43-44 
1-11-21-32-33-34-35-37-39-40-43-44 
1-11-21-32-33-34-35-37-39-41-42-43-44 
1-11-21-32-33-34-35-37-39-41-43-44 


4. 生成 测试 用 例 ， 确 保 基 本 路 径 集中 每 条 路 径 的 执行 
根据 各 路 径 的 执行 过 程 ， 各 判断 结 点 取 值 如 表 18-3 所 示 。 
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器 18-3 判断 结 点 取 值 


号 执行 路 径 : 


i 
1-2-3-10-44 
时 


1-2-4-5-10-44 


1-2-4-6-7-10-44 


| 1-2-4-6-8-9-10-44 4: 


1-2-4-6-8-10-44 4 


1-11-12-13-20-44 | 11 


1 ， 

| 11: 
1-11-12-14-15-20-44 

14， 
l: 
ll:; 
1-11-12-14-16-17-20-44 12: 
14: 
16; 
1] ， 
ll: 
12: 
14: 
16， 
1]18: 


1-11-12-14-16-18-19-20-44 
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TRUE 
TRUE 


: TRUE 


FALSE 
TRUE 
TRUE 


: FALSE 
: FALSE 


TRUE 


: TRUE 
: FALSE 


FALSE 
FALSE 
TRUE 

TRUE 

FALSE 
FALSE 
FALSE 


' FALSE 


FALSE 
TRUE 


l2; TRUE 


FALSE 
TRUE 


| 12: FALSE 


TRUE 
FALSE 
TRUE 


FALSE 
FALSE 


TRUE 
FALSE 
TRUE 


FALSE 
FALSE 
FALSE 
TRUE 


判断 结 点 取 什 


序 号 执行 路 径 


10 


ll 


12 


13 


14 
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1-11-12-14-16-18-20-44 


1-11-21-22-23-24-31-44 


1-11-21-22-23-25-26-31-44 


1-11-21-22-23-25-27-28-31-44 


1-11-21-22-23-25-27-29-30-31-.44 


1-11-21-22-23-25-27-29-31-44 


1: FALSE 
ll: TRUE 
12: FALSE 
14:; FALSE 
16: FALSE 
18: FALSE 
i: FALSE 
ll: FALSE 
21: TRUE 
23: TRUE 
1，FALSE 
il: FALSE 
21]; TRUE 
23; FALSE 
25: TRUE 
1l: FALSE 
ll: FALSE 
21: TRUE 
23: FALSE 
25; FALSE 
27: TRUE 
1，FALSE 
li: FALSE 
21: TRUE 
23: FALSE 
25; FALSE 
27: FALSE 
29: TRUE 
1: FALSE 
11，FALSE 
21: TRUE 
23: FALSE 
25: FALSE 
27; FALSE 
29: FALSE 
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判断 结 点 取 值 


续 表 


379 


380 


序 号 执行 路 径 


li 


18 


19 


20 


21 
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1-]1-21-32-44 


1-11-21-32-33-34-35-36-43-44 


1-11-21-32-33-35-36-43-44 


| 1-11-21-32-33-34-35-37-38-43-44 


| 1-11-21-32-33-34-35-37-39-40-43-44 


1-1]-2]-32-33-34-35-37-39-41-42-43-44 


1: FALSE 


| 11: FALSE 


21: FALSE 
32: FALSE 
1: FALSE 
ll: FALSE 
21: FALSE 
32: TRUE 
33: TRUE 
335: TRUE 
1: FALSE 


| 11: FALSE 


21: FALSE 


| 32: TRUE 


33: FALSE 
35: TRUE 
l: FALSE 
ll: FALSE 
21: FALSE 
32: TRUE 
33: TRUE 
35: FALSE 
37; TRUE 
l: FALSE 
ll: FALSE 
21: FALSE 


| 32: TRUE 


33: TRUE 
35: FALSE 
37: FALSE 
39; TRUE 
ll: FALSE 


| 11l: FALSE 


21: FALSE 
32: TRUE 
33: TRUE 


| 35: FALSE 
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续 表 
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序 号 执行 路 径 判断 结 点 取 值 


37: FALSE 
22 1-11-21-32-33-34-35-37-39-41-42-43-44 39; FALSE 
41: TRUE 
1，FALSE 
11，FALSE 
21: FALSE 
. 32; TRUE 
23 1-11-21-32-33-34-35-37-39-41-43-44 33: TRUE 
35; FALSE 
37: FALSE 
39: FALSE 
41: FALSE 


根据 表 18-3 和 如 图 18-4 所 示 ， 我 们 可 以 得 到 各 判断 绪 点 中 各 子 条 件 的 取 值 ， 如 家 
18-4 所 示 〈T 代表 TRUE，F 代表 FALSE )。 


表 18-4 判断 结 点 与 输入 条件 


序 号 | 判断 结 点 输入 条 件 
m_sfmf=T&& m_sfms =T && m_sfmfun =T 


1 
m_mfun= | 


IT msimf=T&&msins=T&&m sfmfun=T 


[ 
申 
bd 
' 


一 | hb 
Lae | 四 


m mfun=2 


个 


m sftmf=T&& m sfms=T&& m sftmfun=T 


mm 
dd 重申 


m mfun=3 


a 


m sfmf=T && m sfms =T && m sfmfun =T 


Se 


m mfun=4 


hm | DO 
二 二 


m_sfmf=T && m sfms =T&& m sfmfun =T 


m_mfun 不 等 于 1、2、3、4 


7 mi 可 | 站 | 间 站 叫 | 六 | 下 中 | 思 | 下 
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号 | 判断 结 点 | 输入 条 件 


m sftmf=F &&m sfms=TR&& mm sftmfun=T 


DT |mmfn=! 


1 F 

WE F && m sftms=T && mm stmfun=T 
gh fin = 2 

| 14: 工 


| m stmf=F&&m sfms=T && m sfmfun =T 
m mfun=3 


m sftmf=F && m sfms=T && mm sfmfun=T 
m mfun=4 
m sfmf=F && m sfms=T&&m sfmfun=T 


,mnien 


| m sfmf=T&& mm sftms=T&& mm sftmfun=F 


| m mfun= 1 


m sftmf=T && mm sftms=T && m sfmfun=F 


m mfun=2 
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17 


18 
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号 | 判断 结 点 输入 条 件 


m sfmf=T && mm sftms=T&& m sftmfun=F 


m sftmf=T&&m sfms= TR&& m sftmfun=F 


m mfun=4 


m sftmf=T && m sftms=T&& m sftmfun=F 


m.mfun 不 等 于 1]、2、3、4 


可 使 用 以 下 任意 一 组 条 件 


m sftmfun=T | m sfmfun=T 
m sftmf=F && m sfms =F && m sftmfun=F 


m EnterSec =F 
m mfun= | 


m sftmf=F && m_ sfms=F && m sftmfun=F 


m_EnterSec = T 
mmfun = | 
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序 号 | 判断 结 点 
1: 上 
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输入 条 件 


m sfmf=F && m sfms=F && m sftmfun=F 


m Entersec=T 


m mfun=4 


m sfmf=F && m sfms=F &&m sftmfun=F 


| m_ EnterSec = T 


m_mfun 不 等 于 1、2、3、4 
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18.3.2 ”测试 结 采 分 析 


按照 如 表 18-4 所 示 设 计 测试 用 例 并 进行 测试 后 ， 对 其 代码 覆盖 结果 进行 分 析 ， 得 出 
如 下 结果 。 
。 ” 当 完 成 100% 路 径 覆 盖 时 ， 将 同时 达到 100% 的 SC、DC、CC 和 CDC; 
e ”在 测试 路 径 16 时 ， 如 果 将 家 中 所 列 的 4 种 输入 条 件 都 设计 出 测试 用 例 ， 还 将 
同时 达到 100% 的 MCC 和 MCDC。 
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19.1 数据 库 测试 概述 


19.1.1 数据库 系统 现状 


1. 主流 数据 库 系 统 现状 

数据 库 管 理 系统 经 历 了 30 多 年 的 发 展演 变 , 已 经 取得 了 辉煌 的 成 就 ,发展 成 了 一 门 
内 容 丰 富 的 学 科 。 目 前 ， 市 场 上 具有 代表 性 的 数据 库 产 品 包 括 Oracle、DB2、Sybase 以 
及 SQL Server 等 。 在 一 定 意义 上 ， 这 些 产 品 的 特征 反映 了 当前 数据 库 产 业界 的 最 高 水 平 
和 发 展 趋势 。 因 此 ， 分 析 这 些 主 流产 品 的 发 展现 状 ， 是 我 们 了 解数 据 库 技 术 发 展 的 一 个 
重要 方面 。 

数据 库 管 理 系 统 是 网 络 经 济 的 重要 基础 设施 之 一 。 支 持 Intemet 数据 库 应 用 已 经 成 
为 数据 库 系 统 的 重要 方面 。 例 如 ，Oracle 公司 从 8i 起 全 面 支持 互联 网 应 用 ， 是 互联 网 数 
据 库 的 代表 。 微 软 公司 更 是 将 SQL Server 作为 其 整个 NET 计划 中 的 一 个 重要 的 成 分 。 
对 于 互联 网 应 用 ， 由 于 用 户 数量 是 无 法 事先 预测 的 ， 这 就 要 求 数据 库 相 比 以 前 拥有 能 处 
理 更 大 量 的 数据 ， 以 及 为 更 多 的 用 户 提供 服务 的 能 力 ， 也 就 是 要 拥有 良好 的 可 伸缩 性 及 
高 可 用 性 。 

数据 库 技 术 的 广泛 使 用 为 企业 和 组 织 收集 并 积累 了 大 和 量 的 数据 。 数 据 丰 富 知 识 贫 乏 
的 现实 直接 导致 了 联机 分 析 处 理 、 数 据 仓库 和 数据 挖掘 等 技术 的 出 现 ， 促 使 数据 库 向 智 
能 化 方向 发 展 。 同 时 企业 应 用 越 来 越 复 杂 ， 会 涉及 到 应 用 服务 器 、Web 服务 器 、 其 他 数 
据 库 、 旧 系统 中 的 应 用 以 及 第 三 方 软件 等 ， 数 据 库 产品 与 这 些 软件 是 否 具有 良好 的 集成 
性 ， 往 往 关 系 到 整个 系统 的 性 能 。 

基于 目前 数据 库 管理 系统 发 展 的 现状 ， 我 国 部 分 数据 库 专家 将 数据 库 技 术 发 展 的 特 
点 概括 为 “四 高 ”， 即 数据 库 管 理 系统 具有 高 可 靠 性 、 高 性能、 高 可 伸缩 性 和 高 安全 性 。 
数据 库 是 企业 信息 系统 的 核心 和 基础 ， 其 可 靠 性 和 性 能 是 企业 领导 人 非常 关心 的 问 古 。 
随 着 信息 化 进程 的 深化 ， 计 算 机 系统 越 来 越 成 为 企业 运营 不 可 缺少 的 部 分 ， 这 时 ， 数 据 
库 系统 的 稳定 和 高 效 是 必要 的 条 件 。 在 互联 网 环境 下 还 要 考虑 支持 几 千 或 上 万 个 用 户 同 
时 存 取 和 7x24 小 时 不 间断 运行 的 要 求 ， 提 供 联 机 数据 备份 、 容 错 、 容 灾 以 及 信息 安全 
措施 等 。 
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2. 我 国 数据 库 系 统 的 发 展现 状 

数据 库 管 理 系 统 是 国家 信息 基础 设施 的 重要 组 成 部 分 , 是 我 国民 族 IT 产业 及 软件 产 
业 发 展 的 支撑 技术 。 多 年 来 ， 我 国 一 直 非 常 注重 开发 自主 产权 的 数据 库 产品 ， 科 技 部 对 
国产 数据 库 软件 产品 的 开发 给 予 了 特别 的 支持 。 z 

目前 ， 我 国 数据 库 系 统 已 经 具备 了 普通 应 用 所 和 需 的 基本 数据 库 管理 功能 ， 也 具有 一 
定 的 扩展 性 ， 能 够 满足 一 般 的 应 用 需求 。 但 国产 数据 库 系 统 在 易 用 性 和 可 管理 性 方面 ， 
相 比 于 国外 主流 数据 库 系 统 ， 还 存在 一 定 的 差距 ， 同 时 ， 国 产 数据 库 系统 运行 的 稳定 性 ， 
执行 效率 ， 特 别 是 在 高 并 发 、 多 用 户 环境 等 复杂 环境 下 的 执行 性 能 和 稳定 性 ， 同 国外 主 
流 数据 库 相 比 还 有 一 些 差距 。 而 且 ， 国 产 数据 库 系统 在 实际 的 信息 系统 中 得 到 应 用 的 机 
会 并 不 多 ， 要 投入 大 规模 的 企业 应 用 ， 还 有 待 实践 的 考验 。 


19.1.2 数据库 系 统 评测 体系 


就 数据 库 领 域 测试 而 言 , 目前 国际 上 的 TPC 组 织 虽 然 提 出 了 性 能 测试 标准 , 然而 由 
于 数据 库 应 用 的 领域 不 同 、 运 行 的 环境 不 同 , 加 上 数据 库 管 理 系统 功能 、 结 构 日 趋 复杂 、 
度量 特性 繁多 等 诺 多 因素 ， 目 前 国际 上 并 没有 被 普遍 接受 的 数据 库 综合 评测 体系 。 

2002 年 开始 至 今 , 中 国 软件 评测 中 心 与 清华 大 学 软件 学 院 共 同 承 担 了 国家 863 计划 
“数据 库 管理 系统 测试 及 其 工具 研发 ”课题 ， 该 课题 的 主要 目的 就 是 围绕 国产 大 型 道 用 
数据 库 管理 系统 的 开发 、 应 用 、 推 广 的 全 过 程 ， 研 发 有 效 、 实 用 的 数据 库 管 理 系 统 测试 
工具 与 环境 ， 建 立国 家 数据 库 管 理 系统 评测 体系 ， 为 政府 部 门 〈 科 技 部 ) 数据 库 管 理 系 
统 专项 择优 提供 技术 依据 ， 为 数据 库 管理 系统 开发 商 、 数 据 库 应 用 系统 开发 商 和 数据 库 
系统 的 最 终 用 户 提供 质量 服务 ， 形 成 服务 社会 的 公共 数据 库 管 理 系统 专业 测试 平台 ， 从 
而 促进 国产 数据 库 管 理 系 统 的 产品 化 、 产 业 化 进程 。 

课题 研究 、 实 施 期 间 ， 在 国家 科技 部 任命 的 数据 库 专 家 组 的 指导 下 ， 两 家 课题 承担 
单位 深入 地 研究 了 国内 外 软件 测试 技术 的 最 新 进展 ， 针 对 我 国 数据 库 管 理 系统 的 发 展现 
状 进行 了 深入 的 调查 研究 , 恰当 地 选择 了 相关 的 国际 标准 。 在 课题 实施 的 技术 路 线 方面 ， 
针对 数据 库 管理 系统 测试 工作 中 蝶 待 解决 的 关键 问题 进行 了 重点 攻关 ， 主 要 包括 相关 国 
际 标准 的 研究 、 测 试 平台 的 设计 、 构 造 测 试用 例 和 制定 测评 标准 等 ， 在 借鉴 已 有 国内 外 
数据 库 管 理 系统 成 功 经 验 的 基础 上 ， 结 合 我 国 数据 库 管理 系统 研发 的 现状 进行 创新 ， 探 
索 高 效 的 有 利于 促进 我 国 数据 库 管 理 系 统 良 性 发 展 的 数据 库 测试 技术 、 方 法 与 模式 ， 重 
点 考虑 了 规范 化 工作 和 资源 合理 搭配 ， 卓 有 成 效 。 形 成 了 一 套 相 对 完整 的 数据 库 管理 系 
统 评测 体系 。 : 

该 体系 参照 数据 库 相 关 国际 标准 和 有 关 软 件 系统 测试 规范 ， 配 合 国 产 数 据 库 管理 系 
统 的 开发 进程 ， 将 数据 库 管 理 系 统 测 试 分 解 为 四 个 方面 ， 产 品 确认 测试 、 标 准 符合 性 测 
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试 、 基 准 性 能 测试 和 应 用 综合 测试 。 通 过 综合 以 上 四 个 方面 的 测试 ， 完 成 对 数据 库 管理 
系统 的 全 面 评测 。 具 体 包 括 以 下 几 个 方面 。 

e 产品 确认 测试 。 

按照 GB/T 16260《 软 件 产品 质量 评价 特性 及 应 用 指南 》、GB/T 17544《 软 件 包 质 量 
要 求 和 测试 》 的 相关 标准 ， 参 考 数 据 库 管理 系统 开发 商 提供 的 文档 资料 ， 重 点 测试 数据 
库 管理 系统 的 扩展 性 、 可 靠 性 、 安 全 性 、 大 数据 量 、 管 理工 具 、 用 户 文档 六 个 方面 ， 以 
度量 数据 库 管 理 系统 的 产品 化 程度 , 在 此 过 程 中 形成 了 一 套 比 较 完 善 的 确认 测试 用 例 集 。 

. 。 标准 符合 性 测试 。 

@ SQL 标准 符合 性 测试 : 按照 SQL92 标准 , 全 面 测试 一 个 数据 库 产品 的 SQL 标准 
支持 特性 。 

@ ODBC 标准 符合 性 测试 : 采用 SWsoft Inc 开发 的 ODBC 2.5 标准 符合 性 测试 工具 
进行 测试 。 在 此 基础 上 按照 ODBC 3.0 标准 对 测试 用 例 进 行 了 相当 规模 的 修改 和 扩充 ， 
并 且 将 微软 公司 的 QuickTest 测试 工具 的 部 分 模块 集成 到 该 测试 工具 中 。 

@ JDBC 标准 符合 性 测试 ， 在 SUN 公司 开发 的 JDBC 标准 符合 性 测试 工具 的 基础 
上 ， 按 照 DBC 3.0 标准 和 国产 数据 库 研发 的 具体 要 求 ， 对 测试 用 例 进行 了 修改 和 扩充 。 

。 ”基准 性 能 测试 。 

@ TPC-C 测试 ， 按照 TPC-C 标准 自主 开发 了 相应 的 测试 工具 。 该 工具 采用 SEDA 
型 架构 ， 可 适用 于 高 并 发 度 的 服务 器 程序 ， 满 足 TPC-C 测试 要 求 的 服务 器 负荷 要 求 。 

@ TPC-W 测试 ， 按照 TPC-W 标准 ， 参 照 wisconsin 测试 工具 作 了 大 最 修 改 后 形 形成 
了 自己 的 测试 工具 。 

如 何 根据 我 国 数据 库 管 理 系 统 的 发 展 水 平 ， 恰 当地 选用 数据 库 相 关 技 术 与 标准 是 顺 
利 有 效 地 开展 测评 工作 的 关键 ， 也 是 难点 。 我 们 努力 做 到 既 符合 国产 数据 库 管 理 系 统 发 
展 水 平 ， 又 引导 国产 数据 库 管 理 系 统 与 主流 数据 库 技 术 接 轨 。 在 课题 实施 过 程 中 完善 了 
数据 库 管 理 系 统 综合 测评 体系 ; 结合 我 国 数据 库 领域 多 年 积累 的 技术 与 实践 知识 ， 完善 
了 符合 我 国 实际 情况 的 数据 库 管理 系统 测评 标准 。 


19.2 ”产品 确认 测试 


19.2.1 系统 功能 测试 


1. 概述 
以 数据 库 系统 “四 高 ”技术 要 求 为 指导 思想 ， 在 国家 863 计划 数据 库 专家 组 的 指导 
下 ， 中 国 软 件 评测 中 心 及 清华 大 学 软件 学 院 结 合 自 己 的 实践 经 验 ， 在 参考 国外 主流 数据 
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库 产品 功能 特性 的 基础 上 ， 制 定 了 国产 数据 库 管理 系统 产品 确认 测试 的 评测 要 点 ， 其 主 
要 从 数据 库 产 品 的 可 扩展 性 、 可 靠 性 、 安 全 性 、 大 数据 和 量 、 系 统 功 能 、 用 户 文档 六 个 方 
面 ， 形 成 对 数据 库 基 本 功能 的 全 面 评 估 与 测试 。 其 中 ， 以 系统 功能 为 主要 测试 对 象 ， 因 
为 能 否 正确 地 提供 数据 存储 及 管理 的 功能 、 能 否 有 效 和 正确 地 对 存储 在 数据 库 中 的 模式 
对 象 和 非 模式 对 象 进行 管理 ， 是 其 能 否 正常 提供 数据 管理 服务 的 基础 ， 也 是 数据 库 管 理 
系统 能 够 真正 投入 使 用 的 前 提 ， 同 时 考虑 到 数据 库 系统 的 可 管理 性 ， 这 些 系统 功能 均 通 
ee 
， 测 试 内 容 

ea 在 多 次 反复 征求 相关 意见 的 基础 上 ， 测 试 组 最 终 确定 系统 功能 部 
分 的 测试 点 为 安装 与 配置 、 数 据 库存 储 管理 、 模 式 对 象 管理 、 非 模式 对 象 管理 、 交 互 式 
查询 工具 、 性 能 监测 与 调 优 、 数 据 迁 移 工 具 及 作业 管理 几 个 方面 。 各 个 部 分 又 分 成 若干 
个 具体 的 测试 项 目 ， 具 体 测试 点 概括 如 下 。: 

。 ”安装 与 配置 ， 主 要 测试 数据 库 管 理 系 统 是 否 具 有 完整 的 图 形 化 安装 程序 ， 是 否 
提供 集中 式 多 服务 器 管理 及 网 络 配置 ， 是 否 在 安装 界面 中 显示 数据 文件 、 日 志 
文件 、 控 制 文件 等 参数 文件 的 默认 路 径 及 其 命名 规则 ， 以 及 是 否 提供 运行 参数 
查看 与 设置 功能 ， 能 够 正确 地 进行 数据 库 的 创建 和 删除 等 。 

e。 ”数据库 存储 管理 ; 主要 测试 点 为 表 空 间 (文件 组 ) 管理 、 数 据 文 件 管理 、 日 志 
文件 管理 以 及 归档 文件 管理 等 功能 。 

。 ”模式 对 象 管理 ， 模 式 对 象 管理 是 数据 库 管 理 系统 最 基本 的 数据 管理 服务 功能 特 
性 ， 是 数据 库 所 有 功能 的 基础 。 其 主要 测试 功能 点 包括 表 管 理 、 索 引 管 理 、 视 
图 管理 、 约 束 管 理 、 存 储 过 程 管理 和 触发 器 管理 等 。 

Q 表 管 理 : 主要 测试 点 为 图 形 方式 下 表 的 创建 ， 图 形 方式 下 修改 表 、 数 据 类 型 下 

拉 框 选择 与 修改 、 重 组 表 数 据 、 A 
查询 、 表 属性 及 相关 性 图 形 化 显示 等 。 

加 案 引 管理 ， 主 要 测试 点 为 创建 、 修 改 索引 信息 ， 提 供 家 引 定义 类 型 选择 ， 表 引 

的 存储 管理 ， 索 引 重 组 与 合并 等 。 

@ 视图 管理 ， 主 要 测试 点 包括 图 形 方式 下 创建 、 删 除 视 图 ， 图 形 工具 中 查看 视图 

定义 ， 图 形 工具 中 查看 视图 数据 、 支 持 条 件 查询 ， 视 图 属性 及 其 相关 性 图 形 化 显示 等 。 

由 约束 管理 : 主要 测试 点 包括 约束 定义 与 修改 (主键 /外 键 / (NOT) NULL/CHECK/ 

UNIQUE/DEFAULT 设置 )、 支 持 约束 状态 控制 〈 延 时 /立即 )、 约 束 查 看 、 相 关 性 图 形 化 
显示 等 。 

@ 存储 过 程 管理 ， 主 要 测试 点 包括 创建 、 出 除 存储 过 程 ， 图 形 工具 中 查看 、 修改 

存储 过 程 代码 (支持 所 得 即 所 写 〉 等 。 
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@ 触发 器 管理 ， 主 要 测试 点 包括 支持 图 形 工具 中 创建 、 删 除 触发 器 ; 支持 行 级 触 
发 器 ， 支 持 语 句 级 触发 器 ;图 形 工具 中 查看 、 修 改 触发 器 代码 (支持 所 得 即 所 写 ) 等 。 


非 模式 对 象 管理 ， 主 要 测试 点 为 模式 管理 ， 包 括 模 式 的 创建 、 删 除 、 查 看 、 用 
户 指派 等 ， 用 户 管理 ， 包 括 用 户 的 创建 、 删 除 、 修 改 、 授 权 、 口 令 策 略 管理 ; 
角色 管理 ， 包 括 角色 的 创建 、 删 除 、 修 改 、 查 看 、 用 户 指派 ;权限 管理 ， 包 括 
数据 库 对 象 权限 的 查看 与 指派 、 用 户 对 象 权限 的 查看 与 指派 ;审计 选项 设置 ， 


. 包括 语句 审计 、 对 象 审计 、 权 限 审 计 、 审 计 开 关 等 。 


交互 式 查 询 工 具 : 主要 测试 点 包括 易 用 性 、 稳 定性 等 。 


:性 能 监测 与 调 优 : 要 求 以 图 形 方式 提供 SQL 语句 执行 计划 、 提 供 数据 库 运行 图 


形 监控 、 提 供 可 配置 的 性 能 数据 跟踪 与 统计 、 提 供 死 锁 监测 与 解锁 功能 等 。 
数据 迁移 工具 : 要 求 支 持 TXT 文件 的 数据 迁移 ; 支持 EXCEL 文件 的 数据 迁移 ; 
支持 XML 数据 导出 ; 支持 从 SQL Server 的 表 , 约束 及 数据 迁移 ; 支持 从 Oracle 
的 表 、 约 束 及 数据 迁移 ， 支 持 从 DB2 的 表 、 约 束 及 数据 迁移 以 及 从 Oracle 进 
行 数据 迁移 的 性 能 等 。 

作业 管理 : 包括 作业 调度 、 通 知 〈 操 作 员 )》 管理 、 维 护 计 划 管 理 等 。 


3. 测试 方法 

采用 黑 盒 测 试 方法 ,主要 通过 图 形 化 管理 工具 、 交互 式 SQL 工具 等 对 数据 库 管 理 系 
统 的 功能 特性 进行 测试 。 要 求 被 测 数据 库 提供 Windows 和 Linux 平台 上 的 图 形 化 管理 工 
具 ， 任 一 平台 上 的 工具 都 能 够 管理 Windows 和 Linux 平台 上 的 数据 库 服务 器 。 由 于 该 部 
分 测试 为 功能 验证 性 测试 ， 因 此 以 手工 测试 为 主 。 

4， 测 试用 例 设计 

针对 每 一 个 测试 点 , 我 们 均 设 计 相 应 的 测试 用 例 对 其 进行 考察 , 测试 用 例 包括 输入 、 
预期 的 结果 以 及 功能 是 否 正确 的 判断 标志 ， 由 于 受 篇 幅 的 限制 ， 仅 以 表 数 据 重组 为 例 进 
行 说 明 。 如 表 19-1 所 示 〈 表 数据 重组 功能 点 测试 用 例 说 明 )。 


序 


表 19-1 家 数据 重组 测试 用 例 
判断 标志 


山 设 立 源 数 据 库 ， 准 备 承 始 数据 
回 管理 系统 为 Oracle， 数 据 库 名 称 为 CCID， 表 名 为 ， 
Sys ProdOrder MachineCode, 共 5$22252 条 记录 , 其 中 ，| 库 中 生成 相应 


DeletedFlag1="Y' 的 记录 约 为 20 万 ，DeletedFlag2="Y' 的 | 的 数据 表 
记录 约 为 5 万 ， 且 这 35 万 记录 随机 分 布 ， 互 不 重复 


| 用 以 下 语句 奸 立 目的 表 《注意 按 需 改动 数据 类 型 ”| 在 被 浏 数据 库 
CREATE TABLE Sys_ProdOrder MachineCode (Code | 中 生成 相应 的 
| 数据 表 


char (12) NOT NULL ， 
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序 判 断 标 志 
MachineCode char (32) NOT NULL ， 
NewMachineCode varchar (32), 

ProdPos varchar (50), 

ProdLine varchar (36) ， 

ep [Ei 
2 z | 中 生成 相应 的 

InputDate date， 数据 表 

Descript varchar (254), 

Orderld int, 

DeletedFlagl char(1), 

DeletedFlag2 char(1), 

Primary key (MachineCode ) ) 

将 源 数 据 库 中 

3 | 执行 数据 导入 表 和 数据 正确 


导入 到 被 测 数 | 
据 库 系 统 中 


执行 数据 删除 直上 | 
4 DELETE FROM Sys_ProdOrder MachineCode i 删 除 数据 
WHERE DeletedFlagl="Y,, 


执行 第 一 次 查询 ， 并 记录 查询 时 间 为 T1 

SELECT count(*) | 

FROM 

"CONTEST"."SYS PRODORDER MACHINECODE"; 


重组 前 进行 数 
据 查 询 


6 
表 数 据 重 组 后 再 查询 ， 并 记录 查询 时 间 为 T2 如 果 Tl1>T2 
SELECT count(*) 则 表明 数据 
7 FROM 重组 有 效 ， 该 
"CONTEST"."SYS_PRODORDER_MACHINECODE"; 测试 项 的 结 


| 果 为 通过 


19.2.2 可靠 性 测试 


1. 测试 内 容 

作为 支撑 企业 应 用 的 后 台 核心 和 基础 ， 数 据 库 系 统 的 稳定 可 笔 性 是 应 用 企业 最 关心 
的 问题 ， 它 与 整个 企业 的 经 营 活动 密切 相关 ， 一 旦 出 现 宕 机 或 者 数据 丢失 ， 企 业 的 损失 
将 无 法 估量 ， 这 不 仅仅 只 是 企业 的 经 济 利益 会 困 受 损失 的 问题 ， 甚 至 会 引起 一 些 法 律 纠 
纷 ， 比 如 银行 系统 和 证 券 系 统 等 。 另外， 在 一 些 意外 造成 数据 库 服 务 停止 的 情况 下 ， 如 
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何 尽快 地 恢复 服务 也 是 必须 考虑 的 问题 。 因 此 ， 决 定 对 数据 库 系统 7x24 小 时 不 间断 运 
行 的 能 力 、 数 据 备份 、 容 错 、 容 灾 等 能 力 进行 测试 ， 并 确定 测试 点 如 下 。 
e ”数据 库 备 份 ， 考察 数据 库 系 统 能 否 支持 多 种 完全 备份 方式 ， 包 括 对 指定 库 、 指 
定 某 一 对 象 、 指 定 一 组 对 象 进行 备份 ; 是 否 支持 多 种 完全 还 原 方式 ， 包 括 对 指 
定 库 、 指 定 某 一 对 象 、 指 定 一 组 对 象 进行 还 原 ， 是否 支 持 对 指定 库 进行 增 量 备 
份 以 及 支持 联机 备份 等 ， 同 时 还 有 考察 系统 备份 恢复 的 效率 。 
e。 ”故障 恢复 : 在 系统 出 现 故障 或 者 存储 介质 出 现 故障 的 情况 下 ， 数 据 库 系统 是 否 
提供 相应 的 数据 恢复 机 制 。 
e ”运行 稳定 性 ;数据 库 系统 的 长 期 稳定 运行 能 力 是 应 用 系统 对 后 台数 据 库 的 最 基 
本 的 要 求 ， 因 此 有 必要 对 数据 库 进行 不 间断 运行 7x24 小 时 的 测试 。 
e。 数据 库 复制 : 数据 库 系统 是 否 提供 了 数据 库 复制 的 机 制 。 
2， 测 试 方法 
采用 黑 盒 测试 方法 ， 对 Windows 和 Linux 平台 上 的 数据 库 服务 器 分 别 进行 测试 。 由 
于 该 部 分 测试 为 功能 验证 性 测试 ， 因 此 以 人 工 测试 为 主 ， 同 时 ， 借 助 TPCC 测试 程序 产 
生 各 种 工作 负载 并 进行 结果 验证 。 
3. 测试 用 例 设计 
针对 每 一 个 测试 点 ， 我 们 都 设计 了 完整 的 测试 用 例 对 其 进行 考察 ， 测 试用 例 包括 输 
入 、 预 期 的 结果 以 及 功能 是 否 正 确 的 判断 标志 ， 在 本 部 分 中 ， 我 们 充分 利用 了 TPCC 测 
试 程序 联机 事务 处 理 的 特点 ， 在 运行 TPCC 测试 程序 的 同时 ， 完 成 联机 备份 、 故 障 恢复 
等 测试 项 的 测试 工作 。 由 于 TPCC 测试 程序 可 以 加 载 不 同 的 数据 量 ， 借 助 该 工具 我 们 也 
可 以 完成 对 数据 库 完全 备份 、 增 量 备份 的 测试 工作 。TPCC 测试 程序 的 最 大 特点 就 是 频 
繁 的 联机 事务 处 理 ， 因 此 它 对 后 台数 据 库 的 稳定 运行 也 有 较 高 的 要 求 ， 利 用 该 工具 ， 我 
们 可 以 完成 对 数据 库 系 统 7x24 不 间 源 运行 能 力 的 测试 。 


19.2.3 ”安全 性 测试 


1。 测试 内 容 
数据 库 的 安全 性 主要 是 指数 据 库 的 用 户 认证 方式 及 其 权限 管理 ， 当 数据 库 遭 受 非 法 
用 户 访问 时 ， 系 统 的 跟踪 与 审计 功能 等 。 具 体 的 测试 点 如 下 。 
e 用户 及 口令 管理 。 包 括 用 户 定义 与 管理 、 角 色 定 义 与 管理 、 口 令 管 理 等 。 
e ”授权 和 审计 管理 2 主要 测试 点 为 数据 库 审 计 、 授 权 管 理 〈 表 权限 / 列 权限 )、 支 
持 操作 系统 用 户 验证 方式 等 。 
2. 测试 方法 
采用 黑 盒 测试 方法 ， 对 Windows 和 Linux 平台 上 的 数据 库 服务 器 分 别 进行 测试 。 由 
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于 该 部 分 测试 为 功能 验证 性 测试 ， 因此 以 人 工 测试 为 主 。 

3. 测试 用 例 设计 

针对 每 一 个 测试 点 ， 我 们 都 设计 了 完整 的 测试 用 例 ， 对 其 进行 考察 ， 测 试用 例 包括 
输入 、 预 期 的 结果 以 及 功能 是 否 正 确 的 判断 标志 。 


19.2.4 扩展 性 测试 


1. 测试 内 容 

企业 信息 系统 投入 使 用 以 后 ， 和 采集 的 数据 越 来 越 多 ， 同 时 企业 的 业务 量 也 在 不 断 增 
长 ， 从 而 对 信息 系统 的 升级 变 得 越 来 越 迫 切 ， 因 此 数据 库 系统 的 可 扩展 能 力也 显得 越 来 
越 重 要 。 由 于 业务 的 扩大 ， 原 来 的 系统 规模 和 能 力 已 经 不 再 适应 新 的 要 求 的 时 候 ， 不 是 
更 换 更 高 档次 的 机 器 ， 而 是 在 原 有 的 基础 上 增加 新 的 设备 ， 如 处 理 器 、 存 储 器 等 ， 从 而 
达到 分 散 负 载 的 目的 。 为 了 对 数据 库 系统 的 这 些 特性 进行 测试 ， 具 体 测试 点 为 : 

。 ”数据 库 系统 的 跨 平 台 支 持 。 

e CPU 加速 比 。 

2. 测试 方法 

对 于 数据 库 系 统 的 跨 平 台 支 持 测 试 ， 采 用 黑 盒 测试 方法 ， 对 被 测 软件 在 各 种 平台 上 
的 样品 进行 安装 测试 ， 并 验证 主要 功能 。 

对 于 CPU 加 速 比 的 测试 ， 采 用 了 TPCC 测试 工具 来 进行 ， 分 别 测试 不 同 CPU 数 环 
境 下 的 TPMC 值 ， 计 算出 相应 数据 库 的 CPU 加 速 比 值 。 在 具体 的 测试 过 程 中 其 测试 方 
法 完全 等 同 于 TPCC 的 测试 方法 。 

3. 测试 用 例 设计 

数据 库 系 统 的 跨 平 台 支 持 测 试 的 安装 平台 主要 包括 Windows、Linux 和 Solaris 平台 。 

对 于 CPU 加 速 比 的 测试 ， 首 先 在 两 个 CPU 的 服务 器 进行 了 TPCC 测试 ， 取 得 该 环境 
下 的 最 大 TPMC 值 ， 然 后 ， 在 保持 其 他 条 件 不 变 的 情况 下 ， 将 服务 器 的 CPU 个 数 增加 到 
4 个 ， 并 取得 了 4 个 CPU 下 的 最 大 TPMC 值 ， 最 后 得 到 相应 数据 库 的 CPU 加 速 比 值 。 


19.3 ”标准 符合 性 测试 
19.3.1 SQL 符合 性 测试 


1. 概述 
SQL (Structured Query Language) 于 1974 年 提出 ，1986 年 10 月 成 为 数据 库 语言 人 
美国 标准 ，1987 年 成 为 ISO 标准 ， 以 后 多 次 升 版 ， 目 前 市 场 普 所 接受 的 是 SQL92 标准 。 
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所 谓 SQL 标准 符合 性 测试 即 测试 数据 库 管 理 系统 与 SQL 标准 的 符合 程度 ， 分 为 语 
法 级 〈 即 所 接受 的 SQL 语言 与 标准 BNF 的 符合 程度 )、 语义 级 ( 即 数据 库 管理 系统 所 实 
现 SQL 语言 执行 结果 与 SQL 标准 规定 结果 的 符合 程度 )。 目 前 美国 标准 技术 研究 所 

(NIST) 的 SQL 测试 用 例 库 代 表 了 符合 性 测试 的 主流 用 例 库 ， 数 据 库 系统 对 该 测试 用 
例 库 的 支持 程度 是 数据 库 管 理 系 统 标准 化 的 重要 指标 ， 是 数据 库 管理 系统 进入 市 场 的 基 
础 ， 也 是 用 户 (包括 最 终 用 户 和 应 用 开发 商 ) 选择 数据 库 管 理 系统 的 重要 依据 之 一 。 

2. 测试 内 容 

本 测试 的 测试 用 例 参照 美国 NIST 的 SQL Test Suite Version 6.0 嵌入 式 C 和 交互 式 的 
入 门 级 和 过 渡 级 部 分 ， 关 于 过 渡 级 测试 用 例 在 本 测试 中 仅 采 用 子 集 。 有 关 的 测试 用 例 集 
文件 可 以 从 网 址 http://www.itl.nist.gov/div897/ctg/sql_form.htm 获取 ， 同 时 ，NIST 提供 的 
测试 用 例 补丁 下 载 网 址 为 http://www.itl.nist.gov/div897/ctg/sql-testing/upd600.ted， 在 整个 
测试 过 程 中 ， 只 需要 执行 全 部 的 测试 用 例文 件 ， 最 后 统计 通过 的 测试 用 例 即 可 。 

3. 测试 工具 

SQL 标准 符合 性 测试 采用 黑 盒 测试 方法 ， 在 详细 研究 美国 标准 技术 研究 所 (NIST) 
的 测试 用 例 库 的 基础 上 ， 测 试 组 自行 开发 了 集 测 试 和 结果 定量 分 析 于 一 体 的 自动 化 测试 
工具 ， 利 用 该 测试 工具 可 以 直接 选择 被 测 文件 来 运行 并 统计 相应 的 测试 结果 。 

4. 测试 过 程 

安装 测试 工具 后 ， 在 程序 安装 路 径 下 生成 CaseDescribe、Help 和 TestCase 三 个 文件 
夹 ， 分 别 用 于 存放 测试 用 例 描述 、 程 序 帮助 文档 和 测试 用 例 。 

测试 中 ， 首 先 在 基本 配置 选项 卡 进行 数据 库 连 接 配 置 ， 并 进行 数据 库 连 接 测试 。 
然后 在 嵌入 式 / 交 互 式 测试 配置 选项 卡 上 对 指令 格式 和 出 错 关 键 字 进行 配置 。 指 令 格式 
中 采用 符号 “*#?” 表 示 文 件 名 ， 出 错 关 键 字 可 以 使 用 符号 “& 人 ”和 “ 川 ”表示 与 和 或 的 

数据 库 连 接 配置 成 功 后 ， 即 可 选择 测试 用 例 列 表 文 件 和 测试 用 例 所 在 文件 夹 进行 测 
试 ， 测 试 前 要 在 测试 选项 卡 界面 的 测试 级 别 复 选 框 中 选中 要 测试 的 测试 级 别 。 

测试 过 程 中 ， 测 试 选 项 卡 界面 文件 名 列表 的 左 侧 以 图 标 方 式 表 示 执 行情 况 ， 碳 侧 的 
空白 区 域 显 示 相 应 操作 的 输出 信息 。 

测试 完成 后 , 对 于 嵌入 式 测 试 在 结果 统计 选项 卡 上 进行 结果 统计 。 对 于 交互 式 测试 ， 
测试 结果 保存 在 生成 的 结果 文件 中 。 

5， 测试 结果 

NIST 提供 的 测试 用 例 集 包 含 了 若干 测试 用 例文 件 ， 每 个 测试 用 例 中 包含 若干 个 测 
试点 ， 任 何 一 个 测试 点 出 现 错误 均 认为 该 测试 用 例 没 有 通过 ， 其 中 测试 用 例 的 执行 结果 
以 HU 用 户 的 TestReport 中 记录 的 结果 为 准 。 
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通过 的 入 门 级 测试 用 例 数 占 入 门 级 测试 用 例 总 数 的 比例 ， 即 为 入 门 级 测试 通过 率 。 
通过 的 过 渡 级 测试 用 例 数 占 过 渡 级 测试 用 例 总 数 的 比例 ， 即 为 过 渡 测 试 通过 率 。 


19.3.2 ODBC 符合 性 测试 


1. 概述 

开放 数据 库 互 连 (Open DataBase Connectivity, ODBC) 是 微软 公司 开发 的 一 套 开放 
数据 库 系 统 应 用 程序 接口 规范 ， 它 是 微软 公司 Windows 开放 系统 体系 结构 (Windows 
Open System Architecture，WOSA) 的 主要 组 成 部 分 。ODBC 规范 为 应 用 程序 提供 了 一 
套 商 层 调用 接口 规范 和 基于 动态 链接 的 运行 支持 环境 。 使 用 ODBC 开发 数据 库 应 用 程序 
时 ， 应 用 程序 调用 的 是 标准 的 ODBC 函数 和 SQL 语句 ， 数 据 库 的 底层 操作 由 各 个 数据 
库 的 驱动 程序 完成 。 所 以 这 样 的 应 用 程序 具有 很 好 的 适应 性 和 可 移植 性 ， 并 且 具 备 同时 
访问 多 种 数据 库 系统 的 能 力 。 

2. 测试 内 容 

本 测试 参照 Microsoft ODBC 3.0 标准 进行 .ODBC 标准 符合 性 测试 的 具体 项 目 包 括 : 
API 函数 和 数据 类 型 支持 性 测试 、 数 据 库 连接 功能 测试 、 基 本 功能 测试 、 元 数据 功能 测 
试 、 诊 断 函 数 功能 及 错误 状态 码 测试 、 游 标 功能 测试 、 事 务 功能 测试 、 标 量 函 数 测试 、 
ODBC SQL 语法 测试 等 。 

3. 测试 工具 

ODBC 标准 符合 性 测试 以 SWsoft Inc 开发 的 ODBC 2.5 标准 符合 性 测试 工具 为 原型 ， 
按照 ODBC 3.0 标准 对 其 进行 了 较 多 的 修改 和 扩充 , 将 微软 的 QuickTest 测试 工具 的 部 分 
模块 集成 到 该 测试 工具 中 ， 并 且 加 入 了 测试 结果 的 定量 分 析 功 能 。 

4. 测试 过 程 

安装 完 测 试 工 具 后 ， 首 先 对 ODBC 数据 源 进行 配置 , 设置 被 测 数据 库 的 连接 驱动 并 
进行 连接 测试 。 

连接 测试 成 功 后 ， 即 可 选择 测试 结果 信息 的 输出 文件 ， 最 后 选中 相应 的 测试 项 目 或 
者 全 部 测试 项 目 ， 单 击 “ 开 始 ”按钮 进行 测试 。 

在 本 测试 中 ,主要 的 测试 方法 为 根据 所 设 的 ODBC 版 本 信息 , 通过 SQLGetFunction 
取出 并 显示 厂商 声明 支持 的 API 函数 〈 包 括 版 本 信息 )， 其 后 参照 微软 提供 的 ODBC 测 
试 工具 “微软 的 测试 工具 仅 对 每 个 函数 选 定 了 一 种 最 简单 的 参数 组 合 来 测试 ) 验 证 驱动 
程序 实际 的 支持 性 ， 然 后 再 通过 其 他 更 详细 、 更 复杂 的 测试 用 例 来 重点 验证 应 用 中 比较 
重要 的 一 部 分 函数 ， 考 察 其 支持 的 程度 。 对 于 数据 类 型 的 测试 ， 首 先 根据 所 设 的 ODBC 
版 本 信息 ， 通 过 SQLGetTypeInfo 取出 并 显示 厂商 声明 支持 的 所 有 数据 类 型 ， 然 后 通过 
ODBC 元 数据 创建 相关 的 表 来 测试 实际 支持 的 基本 数据 类 型 ， 包 括 大 字段 的 测试 。 
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S$. 测试 结 采 

API 函数 的 测试 ， 参 照 微软 的 测试 工具 (QuickTest〉 对 每 个 函数 选 定 了 一 种 最 简单 
的 参数 组 合 来 测试 ， 仅 用 其 作 简 单 的 支持 性 测试 。 此 项 测试 根据 通过 测试 的 函数 的 百 分 
比 来 计算 。 对 于 其 他 的 更 重要 的 应 用 功能 是 通过 其 他 更 详细 、 更 复 洒 的 测试 用 例 来 验证 
的 ， 其 执行 结果 的 成 功 与 否 直 接 记录 为 测试 结果 。 


19.3.3 ”JDBC 符合 性 测试 


1. 概述 

JDBC 规范 为 Java 语言 访问 关系 数据 库 提 供 了 一 个 编程 接口 规范 ， 它 由 一 组 用 Java 
编程 语言 编写 的 类 和 接口 组 成 。JDBC 规范 为 数据 库 开 发 人 员 提供 了 一 个 标准 的 API， 使 
他 们 能 够 用 纯 Java API 来 编写 数据 库 应 用 程序 。 目前 JDBC 规范 的 最 新 版 本 为 JDBC3.0 规 
范 。 通过 对 以 上 标准 和 规范 的 符合 性 测试 ,体现 了 数据 库 管 理 系统 对 应 用 开发 的 支持 水 平 。 

2， 测 试 内 容 

根据 JDBC 规范 3.0 符合 性 要 求 ， 对 其 规定 的 接口 和 类 进行 测试 ， 由 于 SUN 公司 
提供 的 JDBC API Testsuite 1.3.1 工具 中 医 资 了 大 部 分 的 接口 和 API 函数 的 测试 用 例 ， 但 
还 有 部 分 规范 中 有 要 求 ， 但 该 测试 工具 没有 测试 到 的 项 目 ， 这 些 测试 项 目 由 测试 组 添加 
到 测试 用 例 中 。 具体 包括 JDBC 3.0 规范 DataBaseMetaData 接口 中 新 增 的 方法 ,JDBC 3.0 
规范 新 增 的 接口 ParameterMetaData 和 SavePoint、JDBC 3.0 规范 中 接口 BLOB 和 CLOB 
的 API 函数 、JDBC 3.0 规范 中 其 他 接口 中 与 新 增 接口 有 关 的 API、JDBC 3.0 中 定义 的 对 
autogenerated keys 特征 的 支持 、 结 果 集 的 游标 保持 特性 等 。 

3. 测试 工具 z 

测试 工具 采用 SUN 公司 提供 的 DBC API Testsuite 1.3.1 为 基本 测试 工具 。 测 试 时 服 
务 器 端 为 Windows 平台 和 Linux 平台 ， 客 户 端 运行 在 Windows 平台 ，Java 运行 环境 采用 
J2SDK1.4 和 J2SDKEE 1.3.1。 该 测试 工具 在 SUN 公司 开发 的 JDBC 标准 符合 性 测试 工具 
的 基础 上 ， 技 照 JDBC 3.0 标准 对 测试 用 例 进 行 了 修改 和 扩充 ， 并 且 加 入 了 测试 结果 的 定 
量 分 析 功 能 。 修 正之 前 ， 原 始 的 测试 工具 及 相关 工具 可 以 从 以 下 地 址 获取 :http:Wijava.sun. 
com/products/jdbc/download.html; http,Wiava.sun,coryproductsjjdbc/download,htmmjlf#testsuite131。 

4。 测试 过 程 

安装 完 测 试 工具 后 ， 首 先 对 Java 运行 环境 进行 设置 ， 然 后 对 数据 库 URL 〈 含 数据 
库 名 )、DDL 文件 、DML 文件 等 进行 配置 。 配 置 结束 后 即 可 开始 具体 的 测试 工作 。 

$$， 测试 结果 

JDBC 标准 符合 性 测试 对 数据 库 系统 分 别 在 Windows 和 Linux 操作 系统 上 的 符合 性 
进行 测试 ， 测 试 完成 后 ， 统 计 各 个 接口 或 类 中 API 函数 通过 的 测试 用 例 点 的 数量 ， 技 用 
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例 通过 的 比例 计算 其 对 标准 的 符合 程度 。 


19.4 “系统 性 能 测试 


19.4.1 概述 


就 数据 库 测试 而 言 ， 国 际 上 TPC 组 织 提出 的 性 能 测试 标准 和 规范 ， 是 最 为 大 家 所 熟 
悉 的 数据 库 测 试 规范 。TPC 是 交易 处 理性 能 委员 会 (Transaction Processing Performance 
Council) 的 缩写 ， 该 组 织 最 早 成 立 于 1988 年 ， 由 一 些 在 计算 机 领域 提供 软 硬 件 系统 或 
者 相关 解决 方案 的 厂商 组 成 ， 会 员 从 成 立 之 初 的 8 家 公司 发 展 到 目前 的 50 余 家 ，IBM.、 
NCR、HP、Oracle、Microsoft 等 国际 著名 公司 均 是 其 会 员 。 

TPC 是 一 个 非 弄 利 性 机 构 ， 其 目的 主要 是 为 了 针对 特定 的 领域 ， 如 联机 交易 处 理 系 
统 (On Line Transaction Processing，OLTP)、 数 据 仓库 或 决策 支持 系统 (Decision Support 
System，DSS)、 电 子 商 务 解决 方案 等 ， 制 定 相应 的 性 能 测试 规范 ， 从 而 为 用 户 在 选择 相 
应 解决 方案 的 平台 时 提供 参考 标准 。 

TPC 组 织 制 定 的 数据 库 评测 规范 主要 包括 TPC-A、TPC-B、TPC-C、TPC-D、 
TPC-H/TPC-R、TPC-W 等 ， 而 目前 正在 使 用 的 性 能 评测 规范 有 以 下 几 种 。 

。 针对 OLTP 系统 的 性 能 评测 规范 TPC-C。 

。 ”针对 数据 仓库 或 决策 支持 系统 的 性 能 评测 规范 TPC-H 和 TPC-R: 前 者 用 于 评估 

数据 仓库 系统 中 的 动态 查询 负载 ， 后 者 用 于 评估 数据 仓库 系统 中 的 预定 义 报表 
应 用 ， 两 者 均 源 自 早 期 的 TPC-D。 

。 ”针对 电子 商务 应 用 的 性 能 评测 规范 TPC-W，。 

如 果 使 用 恰当 ， 这 些 测试 规范 对 于 用 户 在 选择 相应 的 系统 平台 时 ， 可 以 起 到 较 好 的 
参考 作用 。 

本 次 数据 库 测 试 ， 我 们 对 数据 库 系统 进行 了 .TPC-C 和 TPC-W 测试 ， 由 于 这 两 类 测 
试 的 测试 规范 是 成 型 的 ， 因 此 ， 最 重要 的 是 依据 相应 的 测试 规范 去 建立 测试 模型 、 配 置 
数据 库 参数 、 开 发 相应 的 测试 程序 或 者 工具 ， 当 然 ， 具 体 的 程序 开发 不 在 本 书 所 要 站 述 
的 内 容 范围 之 内 ， 因 此 ， 我 们 所 要 讲述 的 重点 在 于 ， 如 何 去 理 解 这 些 标准 和 规范 ， 以 及 
如 何 去 正 确 的 理解 和 分 析 进 行 TPC-C 和 TPC-W 测试 后 产生 的 结果 数据 。 


19.4.2 TPC-C 测试 


1， 规范 概要 
TPC-C 规范 是 专门 针对 联机 交易 处 理 系 统 (OLTP 系统 ) 的 ， 一 般 情况 下 我 们 也 把 
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这 类 系统 称 为 业务 处 理 系统 。 这 类 系统 具有 比较 鲜明 的 特点 ， 这 些 特点 主要 表现 如 下 。 
多 种 事务 处 理 并 发 执行 ， 充 分 体现 了 事物 处 理 的 复杂 性 ; 
在 线 与 离线 的 事务 执行 模式 ， 
多 个 在 线 会 话 终端 ; 
适中 的 系统 运行 时 间 和 应 用 程序 运行 时 间 ; 
大 量 的 磁盘 IO 数据 流 ; 
强调 事务 的 完整 性 要 求 (ACID); 
对 于 非 一 致 的 数据 分 布 ， 使 用 主键 和 从 键 进行 访问 ; 
数据 库 由 许多 大 小 不 一 、 属 性 多 样 ， 而 又 相互 关联 的 数据 表 组 成 ; 
存在 较 多 数据 访问 和 更 新 之 间 的 资源 争夺 。 | 
为 此 , TPC-C 测试 规范 中 模拟 了 一 个 比较 复杂 , 并 具有 代表 意义 的 OLTP 应 用 环境 ， 
来 对 数据 库 管理 系统 的 联机 事务 处 理性 能 进行 测试 。 
”2. 测试 模型 ” 

TPC-C 测试 用 到 的 模型 是 一 个 大 型 的 商品 批发 销售 公司 ， 它 拥有 若干 个 分 布 在 不 同 区 
域 的 商品 仓库 。 当 业务 扩展 的 时 候 ， 公 司 将 添加 新 的 仓库 。 每 个 仓库 负责 为 10 个 销售 点 供 
货 ， 每 个 销售 后 为 3000 个 客户 提供 服务 ， 每 个 客户 提交 的 订单 中 ， 平 均 每 个 订单 有 10 项 
产品 , 所 有 订单 中 约 1% 的 产品 在 其 直接 所 属 的 仓库 中 没有 存货 , 必须 由 其 他 区 域 的 仓库 来 
供 货 。 同 时 ， 每 个 仓库 都 要 维护 公司 销售 的 100 000 种 商品 的 库存 记录 。 如 图 19-1 所 示 。 
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图 19-1 TPC-C 测试 用 模型 
TPC-C 测试 系统 数据 库 由 9 张 表 组 成 ， 它 们 之 间 的 关系 如 图 19-2 所 示 。 
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Warehouse W Distnct | 
W*10 


100k 


W 


图 19-2 TPC-C 测试 系统 数据 库 


其 中 , 表 框 里 的 数字 表示 该 表 将 要 存放 多 少 条 记录 , 仓库 数 W 的 调整 在 测试 中 能 够 
体现 数据 库 所 能 够 支持 的 数据 规模 的 能 力 ， 表 间 的 数字 表示 表 数 据 的 父子 关系 之 间 儿 子 
的 个 数 ,. 比如 一 个 Warehouse 要 对 应 10 个 District 等 ， 另 外 ,“+” 号 表示 这 种 对 应 关系 
可 能 会 更 多 。 和 

3。 事务 说 明 

该 系统 需要 处 理 的 交易 事务 主要 为 以 下 几 种 。 

e 新 订单 :客户 输入 一 笔 新 的 订货 交易 ; 

。 ”支付 操作 ， 更 新 客户 账户 余额 以 反映 其 支付 状况 ; 

。 发 货 ， 发 货 (模拟 批 处 理 交 易 ); 


Order-Line 


3+ 
We*300k+ 


订单 状态 查询 : 查询 客户 最 近 交 易 的 状态 ; 
库存 状态 查询 : 查询 仓库 库存 状况 ， 以 便 能 够 及 时 补 货 。 

有 关 事 物 的 具体 描述 如 下 。 

。 ”新 订单 : 其 主要 事务 内 容 为 对 于 任意 一 个 客户 端 , 从 固定 的 仓库 中 随机 选取 5~ 
15 件 商品 ， 创 建新 订单 。 其 中 1% 的 订单 ， 要 由 于 假想 的 用 户 操作 失败 而 回 滚 ; 
该 事务 的 主要 特点 为 读 写 、 频 繁 、 要 求 响应 快 ， 是 系统 中 最 典型 的 操作 ， 也 是 
系统 处 理 中 的 主要 工作 量 ， 最 终 也 是 以 数据 库 系统 每 分 钟 能 够 处 理 的 新 订单 数 
来 对 数据 库 系统 的 性 能 进行 评价 。 

。 ”支付 操作 ;其 主要 事务 内 容 为 对 于 任意 一 个 客户 端 ， 从 固定 仓库 随机 选取 一 个 
辖区 及 其 内 的 用 户 ， 采 用 随机 的 金额 支付 一 笔 订 单 ， 并 同时 将 该 订单 记录 为 相应 
历史 订单 。 该 事物 的 主要 特点 为 10 个 批量 、 读 写 、 较 少 、 较 宽松 的 响应 时 间 。 
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e 订单 状态 查询 ， 其 主要 事务 内 容 为 对 于 任意 一 个 客户 端 ， 从 固定 仓库 随机 选取 
一 个 辖区 及 其 内 用 户 ， 读 取 该 用 户 的 最 后 一 条 订单 ， 显 示 订 单 内 每 件 商品 的 状 
态 。 该 事物 的 主要 特点 为 只 读 、 较 少 、 要 求 响 应 快 。 
e 发 货 ， 其 主要 事务 内 容 为 对 于 任意 一 个 客户 端 ， 随 机 选取 一 个 发 货 包 ， 更 新 被 
处 理 订单 的 用 户 账户 余额 ， 并 把 修改 后 的 订单 从 新 订单 中 删除 。 该 事物 的 主要 
特点 为 读 写 、 频 繁 、 响 应 快 。 
e ”库存 状态 查询 : 其 主要 事务 内 容 为 对 于 任意 一 个 客户 端 ， 从 固定 的 仓库 和 辖区 选 
取 最 后 的 20 条 订单 ， 检 查 订单 中 所 有 货物 的 库存 。 计 算 并 显示 所 有 库存 低 于 随 
机 生成 阙 值 的 商品 数量 。 该 事物 的 主要 特点 为 只 读 、 较 少 、 较 为 宽松 的 响应 时 间 。 
对 于 以 上 这 5 种 类 型 的 事务 交易 ， 前 4 种 类 型 的 交易 要 求 响应 时 间 在 5$ 秒 钟 以 内 ; 
对 于 库存 状况 查询 交易 ， 要 求 响 应 时 间 在 20 秒 以 内 。 同 时 ， 这 5 种 交易 最 终 的 比例 还 必 
须 满足 一 定 的 要 求 ， 即 支付 操作 的 比例 不 得 少 于 43%， 订 单 状态 查询 、 发 货 和 库存 状态 
查询 的 比例 分 别 均 不 得 少 于 4%。 具 体 而 言 ，5 种 事务 要 满足 的 时 间 、 比 例 及 隔离 级 别 要 
求 如 表 19-2 所 示 。 


下 19-2 $5 种 类 型 的 事务 交易 


最 小 键盘 输入 了 | 90% 事 务 陶 应 了 时间 | 最 小 平均 思考 时 

NS 间 分 布 “ 秒 ) 
新 订单 mwa | Il | 5 12 
支付 操作 | | | 和 12 
TW | 0 | 2 | 5S$ | 1 


发 货 | | | 和 | 5 
库存 状态 查询 | 40 | 2 | ?2 5 
4。 测试 指标 


TPC-C 测试 规范 经 过 两 年 的 研制 ， 于 1992 年 7 月 发 布 。 几 乎 所 有 在 OLTP 市 场 提 
供 软 硬 件 平 台 的 国外 主流 厂商 都 发 布 了 相应 的 TPC-C 测试 结果 , 随 荐 计算 机 技术 的 不 断 
发 展 ， 这 些 测试 结果 也 在 不 断 刷 新 。 : 
TPC-C 测试 的 结果 主要 有 两 个 指标 ， 即 流 盘 指标 Throughput， 简称 tpmC) 和 性 价 
比 (Price/Performance， 简 称 Price/tpmC)。 
。 ”流量 指标 〈Throughput， 简 称 tpmC): 按照 TPC 组 织 的 定义 ， 流 重 指标 描述 了 
系统 在 执行 支付 操作 、 订 单 状态 查询 、 发 货 和 库存 状态 查询 这 4 种 交易 的 同时 ， 
每 分 钟 可 以 处 理 多 少 个 新 订单 交易 。 所 有 交易 的 响应 时 间 必 须 满足 TPC-C 测试 
规范 的 要 求 ， 且 各 种 交易 数 重 所 占 的 比例 也 应 该 满足 TPC-C 测试 规范 的 要 求 。 
在 这 种 情况 下 ， 流 量 指标 值 越 大 说 明 系 统 的 联机 事务 处 理 能 力 越 商 。 
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。 性价比 (Price/Performance， 简 称 Price/rpmC):， 即 测试 系统 的 整体 价格 与 流量 
指标 的 比值 ， 在 获得 相同 的 tpmC 值 的 情况 下 ， 价格 超 低 越 好 。 

5. 测试 工具 “ 

按照 TPC-C 测试 规范 要 求 ， 测 试 工具 和 模型 可 以 由 厂商 自行 实现 。 在 本 次 测试 中 ， 
我 们 按照 TPC-C 标准 规范 自行 开发 了 相应 的 测试 工具 。 该 工具 采用 SEDA 型 架构 , 可 适 
用 于 涡 并 发 度 的 服务 器 程序 ， 采用 此 架构 能 够 提高 客户 端的 并 发 能 力 ,满足 TPC-C 测试 
要 求 的 服务 器 负荷 要 求 。 

6. 测试 流程 

tpmc 的 最 终 值 是 在 满足 TPC-C 标准 规范 要 求 的 响应 延迟 下 ， 系统 可 能 达到 的 最 大 
处 理 速度 。 所 以 ， 测 试 流程 事实 上 是 一 个 反复 逼近 的 过 程 ， 即 不 断 地 寻找 系统 可 能 达到 
的 最 大 值 的 过 程 ， 一 般 而 言 ， 可 以 先 预 估 一 个 大 概 的 数据 装载 量 ， 然 后 在 此 条 件 下 进行 
TPC-C 测试 ， 如 果 系 统 新 订单 及 其 他 事务 的 响应 时 间 均 很 好 地 满足 要 求 ， 则 可 以 加 大 数 
据 量 再 进行 测试 ， 直 到 系统 响应 时 间 不 能 满足 要 求 为 止 ， 在 满足 要 求 的 情况 下 的 tpmC 
值 就 是 需要 的 最 大 tpmC 值 。 具 体 流程 如 图 19-3 所 示 。 


19-3 ”测试 流程 图 
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7. 测试 结果 

根据 TPC 组 织 的 规定 ， 各 厂商 的 TPC-C 测试 结果 都 技 两 种 形式 发 布 ， 测试 结果 概 
要 (Executive Summary ) 和 详细 测试 报告 (Full Disclosure Report)。 测 试 结果 概要 中 描 
述 了 主要 的 测试 指标 、 测 试 环境 示意 图 以 及 完整 的 系统 配置 与 报价 ， 而 详细 测试 报告 中 
除了 包含 上 述 内 容 外 ， 还 详细 说 明了 整个 测试 环境 的 设置 与 测试 过 程 。 

我 们 的 测试 报告 基本 按 以 上 要 求实 现 ， 但 忽略 了 价格 因素 (由 于 目的 不 一 样 ， 我 们 
的 测试 环境 是 统一 的 )。 在 测试 报告 中 ， 我 们 包括 的 主要 内 容 有 : 确认 的 tpmC 峰值 及 其 
度量 参数 (包括 5 种 事务 的 响应 时 间 、 事 务 所 占 的 比例 、 测 试 时 间 等 )、 新 订单 响应 时 间 
分 布 曲线 、 每 分 钟 新 订单 事务 个 数 统计 图 以 及 详细 的 测试 过 程 及 配置 说 明 等 。 


19.4.3” TPC-W 测试 


。 测试 概要 

TPC-W I 该 类 系统 具有 的 比 
较 鲜明 的 特点 如 下 。 

e。 复杂 的 在 线 浏览 会 话 ; 
动态 生成 页 面 实现 对 数据 库 的 访问 和 更 新 ; 
相对 固定 的 页 面 对 象 ; 
模拟 复杂 的 并 发 访问 事物 处 理 ; 

在 线 事物 处 理 模 式 ; 

数据 库 由 许多 大 小 不 一 、 属 性 多 样 ， 而 又 相互 关联 的 数据 表 组 成 ; 
事务 的 完整 性 要 求 《ACID); 

存在 较 多 数据 访问 和 更 新 之 间 的 资源 争夺 。 

TPC-W 测试 规范 可 以 用 来 评测 电子 商务 环境 下 服务 器 的 处 理性 能 。 它 模拟 一 个 网 上 
零售 书店 ， 通 过 远程 浏览 仿真 器 (Remote Browser Emulator，RBE) 来 模拟 用 户 在 网 上 
浏览 并 订购 相应 的 书籍 。 库 存 的 书籍 数量 是 TPC-W 测试 规范 的 一 个 扩展 因子 (Scale 
Factor)， 可 以 是 1000、10 000、100 000、1 000 000、10 000 000， 在 比较 测试 结果 时 ， 
不 能 把 不 同 扩展 因子 下 的 测试 结果 进行 相互 比较 。 

2. 测试 模型 

TPC-W 测试 环境 需要 建立 一 个 网 站 , 模拟 用 户 登录 此 网 站 后 可 以 浏览 书籍 分 类 、 新 

到 书籍 、 畅 销 书籍 等 相关 栏目 ， 网 村 系 六 二 和 全] 要 人 和 汪 人 作 拉 天 辐 国有 ， 以 及 通过 购 
物 车 订购 书籍 的 功能 。 
该 测试 模型 包含 8 张 表 ， 这 些 表 的 相互 关系 如 图 19-4 所 示 。 
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图 19-4 ”TPC-W 模型 数据 下 


这 8 张 表 应 该 满足 的 数量 关系 如 表 19-3 所 示 。 
表 19-3” TPC-W 模型 数据 关系 


Cardinality Typical Row Typical Table 


CUSTOMER 2880 * 2880*(numberofEB) | 2880*(numberofEB) | of EB) 70 |,, 188,888 k 
COUNTRY 人 6.44k 
ADDRESS 2*CUSTOMER | 14 |887.040k 
ORDERS 09*CUSTOMER | 20 |570,240k 
ORDERLNE |3*ORDERS | 32 |1026432k 
AUTHOR 025*ITEM | 60 10575k 


CC XACTS 1 * ORDERS 80 |207,360xk 
ITEM 1k, 10k, 100k, 1M, 10M 8,600 k 
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其 中 ， 表 大 小 给 出 的 是 在 1000 个 EB (Enterprise Brower) 和 10000 个 商品 的 情况 下 
的 参考 值 , 商品 表 (ITEM 表 ) 的 大 小 不 包含 图 像 的 大 小 : 除 订 单 明细 表 (ORDER_LINE 
表 ) 的 数据 量 可 以 根据 订单 表 (ORDER 表 ) 的 数据 重 有 所 微调 外 ， 其 余 表 的 数据 量 不 
得 改变 ， 即 必须 满足 以 上 要 求 。 

3， 事 物 说 明 

根据 TPC-W 标准 规范 要 求 ， 该 系统 需要 处 理 的 交易 事务 主要 为 14 类 ， 即 系统 应 该 
提供 14 个 Web 页 面 与 终端 用 户 进行 交互 ， 每 个 虚拟 用 户 在 选择 一 个 页 面 后 ， 可 以 随机 
地 进入 到 另外 一 个 页 面 。 虚 拟 用 户 在 浏览 页 面 时 可 以 有 若干 秒 的 思考 时 间 ， 且 平均 的 思 
考 时 间 在 7 一 8 种 之 间 。 

TPC-W 规定 的 14 个 进行 交互 操作 的 Web 页 面 的 响应 时 间 要 求 如 表 19-4 所 示 ， 同 
时 ， 根 据 TPC-W 规定 ， 在 整个 测试 周期 内 ， 每 个 页 面 交互 的 平均 响应 时 间 长 于 其 对 应 
的 页 面 交互 的 90% 的 响应 时 间 不 得 超过 1 秒 钟 。 


家 19-4 ”响应 时 间 串 

Web Interactions 90% WIRT Constraint 《〈 秒 ) 
Admin Confim 20 
Admin Request 
Best Sellers 
Buy Confirm 
Buy Request 
Customer Regist. 
Home 
New Products 
Order Display 
Order Inquir 
Product Detall 


Ly | | | ni | | | | 


SE 
6B | 
gl 


根据 以 上 14 种 页 面 交 互 的 特征 ， 我 们 可 以 大 致 把 以 上 14 种 页 面 交 互 操作 分 成 两 大 
类 ， 即 页 面 浏 览 类 和 订单 订购 类 。 由 于 在 实际 业务 中 ， 有 时 用 户主 要 进行 的 是 页 面 浏览 
操作 , 而 提交 订单 的 操作 较 少 , 有 时 用 户主 要 是 在 进行 订单 提交 而 没有 过 多 的 浏览 操作 ， 
还 有 一 种 相对 比较 均衡 的 时 候 , 即 浏 览 页 面 和 提交 订单 比较 均匀 , 属于 正常 购物 。 TPC-W 
对 此 三 种 不 同 的 业务 模式 都 进行 了 定义 ; 偏重 浏览 类 (WIPSb)、 偏 重 订单 类 (WIPS0) 
和 正常 购物 类 (WIPS)， 并 针对 这 三 种 不 同 的 业务 模式 ， 分 别 定义 了 它们 各 有 目 包 含 的 14 
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个 交互 操作 所 占 事务 的 比例 ， 具 体 如 表 19-5 所 示 。 
表 19-5 页面 交互 混合 比例 


Browsing Mix (WIPSb)| Shopping Mix (WIPS) IOrdering Mix (WIPSo) 
Web Interaction (%) (%) _ (%) 


Browse 5 | mm | 9 
Home | 2 | 10 | 9.12 


NewProducts | li | 5 0.46 
Best Sellers 0 | 50 0.46 


Product Detail 12.35 
SearchRequest | 12%0 | 20 14.53 
Search Results ll00 | oo | 13.08 
Order __ 5 | ”2 50 
Shopping Cart 20 | 160 13.53 
CustomerRegistnation | 082 | 3%0 12.86 
Buy Request 0.75 ”260 | 12.73 


Buy Confirm 0 | 1l2 10.18 
Order Inquiry 030 | 05 0.25 
Order Display 025 | 06 | 0.22 
AdminRequest | 00 | 00 | 0.12 
AdminConfim | _09 | oo 0.11 
4， 测试 指标 
TPC-W 测试 规范 于 1999 年 12 月 发 布 , 其 测试 结果 主要 有 两 个 指标 , 即 性 能 指标 (以 
WIPS@scale factor 来 进行 度量 ， 以 下 简称 WIPS〉 和 性 价 比 (简称 $/WIPS)， 同 时 为 更 好 
地 体现 不 同 侧重 点 的 交易 情况 ，TPC-W 标准 规范 还 定义 了 两 个 次 要 的 辅助 性 能 指标 ， 即 
WIPSb@scale factor 〈 简 称 WIPSb) 和 WIPSo@scale factor (简称 WIPSo)。 
。 ”性 能 指标 〈TPC-W Performance): TPC-W 性 能 指标 是 用 每 秒 钟 可 以 进行 Web 交 
互 的 数量 来 衡量 的 ， 称 为 WIPS (Web Interactions Per Second)。 所 有 页 面 交 互 的 
响应 时 间 必 须 满足 TPC-W 标准 规范 的 要 求 ， 且 各 种 页 面 交 互 数 量 所 占 的 比例 也 
应 该 满足 TPC-W 标准 规范 的 要 求 。 在 这 种 情况 下 ， 人 性 能 指标 值 越 大 ， 说 明 系 统 
的 事务 处 理 能 力 越 高 。 同 时 ， 有 关 WIPSb 和 WIPSo 的 测试 指标 也 应 该 包括 在 测 
试 报告 中 ， 它 们 的 测试 方法 与 WIPS 相同 ， 但 包含 的 14 种 事务 比例 各 不 相同 。 
e。 性价比 (简称 $/WIPS): 即 测试 系统 价格 与 性 能 指标 的 比值 , 在 获得 相同 的 WIPS 
值 的 情况 下 ， 价 格 越 低 越 好 。 
S。 测试 工具 
按照 TPC-W 测试 规范 要 求 ， 测 试 工具 和 模型 可 以 由 厂商 自行 实现 。 在 本 次 测试 中 ， 
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我 们 按照 TPC-W 标准 规范 ， 在 参照 wisconsin 开发 的 测试 工具 的 基础 上 进行 大 量 修改 ， 
形成 自己 的 测试 工具 。 该 测试 工具 与 数据 库 管理 系统 采用 JDBC 连接 ， 客 户 端 、Web 服 
务 器 与 数据 库 服务 器 分 别 部 署 。 且 Web 服务 器 采用 Java Servlet 技术 ， 图 片 对 象 采用 文 
件 系统 存储 实现 。 本 次 测试 中 库存 的 书籍 数量 为 10 000 种 书籍 。 “i: 

6. 测试 过 程 

TPC-W 测试 过 程 就 是 寻找 被 测 数据 库 管 理 系统 在 满足 TPC-W 标准 规范 要 求 的 条 件 
下 的 最 大 WIPS 值 、 最 大 WIPSb 值 和 最 大 WIPSo 值 的 过 程 。 由 于 TPC-W 测试 的 主要 度 
重 指标 为 WIPS， 所 以 首先 应 该 寻找 到 最 大 的 WIPS 值 ， 然 后 在 此 基础 上 ， 寻 找 最 大 的 
WIPSb 值 和 最 大 的 WIPSo 值 。 在 这 三 种 不 同业 务 模 式 的 测试 过 程 中 ， 系 统 软 硬件 环境 
必须 一 致 ， 但 仿真 浏览 器 的 数量 及 数据 库 的 优化 配置 ， 如 索引 方案 、Web 服务 器 的 配置 
参数 等 可 以 不 同 。 具 体 的 测试 流程 示意 图 如 图 19-5 所 示 。 


恢复 数据 习 
初始 状态 
图 19-5 TPC-W 测试 过 程 图 


7， 结 果 分 析 
根据 TPC 组 织 的 规定 ， 各 厂商 的 TPC-W 测试 结果 都 按 两 种 形式 发 布 : 测试 结果 概 
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要 (Executive Summary ) 和 详细 测试 报告 (Full Disclosure Report)。 测 试 结果 概要 中 描 
述 了 主要 的 测试 指标 、 测 试 环境 示意 图 以 及 完整 的 系统 配置 与 报价 ， 而 详细 测试 报告 中 
除了 包含 上 述 内 容 外 ， 还 详细 说 明了 整个 测试 环境 的 设置 与 测试 过 程 。 

我 们 的 测试 报告 基本 按 以 上 的 要 求实 现 ， 但 忽略 了 价格 因素 〈 由 于 目的 不 一 样 ， 我 
们 的 测试 环境 是 统一 的 )。 在 测试 报告 中 ， 我 们 包括 的 主要 内 容 有 : 性 能 指标 值 、WIPS 
的 交互 比例 统计 、 每 秒 钟 WIPS 值 统计 图 、WIPSo 的 交互 比例 统计 、 每 秒 钟 WIPSo 值 统 
计 图 、WIPSb 的 交互 比例 统计 、 每 秒 钟 WIPSb 值 统计 图 、 测 试 过 程 参数 以 及 详细 的 测 
试 过 程 及 配置 说 明 等 。 


19.4.4 解读 TPC 组 织 公布 的 性 能 测试 报告 


目前 ， 交 易 处 理 委员 会 (TPC) 发 布 的 一 系列 测试 规范 都 是 人 们 评估 数据 库 /仓库 性 
能 的 主要 参考 标准 ， 但 如 何 去 分 析 这 些 测试 报告 ， 如 何 根据 这 些 测 试 报告 正确 地 选择 适 
合 自己 企业 的 数据 库 应 用 系统 ， 依 然 是 令 许多 用 户 感 到 困惑 的 问题 。 在 本 章 最 后 ， 就 此 
问题 向 大 家 作 一 个 简单 的 介绍 。 

很 多 用 户 在 使 用 TPC 发 布 的 测试 结果 时 , 只 参考 其 测试 概要 中 的 系统 性 能 指标 和 性 
价 比 指标 ， 而 忽略 了 对 其 整个 测试 环境 、 测 试 条 件 的 完整 分 析 。 而 事实 上 ， 各 厂商 从 市 
场 效 应 等 各 种 因素 出 发 ， 都 会 尽 可 能 地 对 系统 进行 调整 和 优化 ， 使 得 测试 系统 的 性 能 达 
到 最 优 状 态 ， 但 这 与 实际 生产 环境 往往 有 较 大 的 差异 。 因 此 ， 建 议 用 户 在 参考 厂商 提供 
的 TPC 指标 时 ， 除 了 研究 其 测试 结果 外 ， 还 应 该 仔细 分 析 其 详细 测试 报告 ， 以 便 对 其 测 
试 过 程 、 优 化 手段 等 有 一 个 全 面 的 了 解 。 

1， 检查 测试 环境 的 建立 过 程 

在 详细 测试 报告 中 ， 商 家 都 给 出 了 建立 测试 环境 时 用 到 的 所 有 程序 脚本 。 不 同 平台 
的 测试 环境 建立 过 程 差别 很 大 ， 有 些 只 使 用 不 到 3 页 的 程序 脚本 ， 而 有 些 测试 的 程序 脚 
本 多 达 五 六 十 页 ， 而 且 很 多 参数 的 设 定 都 依赖 于 数据 库 管理 员 的 经 验 。 同 时 ， 随 着 数据 
量 的 增加 ， 系 统 测 试 环 境 建立 的 工作 量 和 复杂 度 也 可 能 发 生变 化 。 因 此 ， 我 们 有 必要 分 
析 其 建立 测试 环境 的 复杂 程度 ， 如 果 过 于 复杂 ， 很 显然 ， 系 统管 理 就 会 很 复杂 。 

另外 ， 我 们 还 应 该 考虑 测试 系统 是 否 具有 高 可 靠 性 。 很 多 测试 系统 都 由 多 台 服 务 器 
通过 节点 互联 网 络 连 成 一 个 数据 库 环境 ， 如 果 系 统 具 有 很 高 的 可 靠 性 ， 则 当 其 中 一 台 或 
多 台 服 务 器 发 生 故 障 时 ， 数 据 库 系 统 仍 能 正常 工作 。 很 显然 ， 这 种 高 可 靠 性 将 影响 测试 
系统 在 正常 情况 下 的 处 理性 能 及 性 价 比 指标 ， 因 此 大 部 分 测试 系统 不 具备 高 可 靠 性 。 这 
样 的 系统 只 能 在 实验 室 环境 中 作为 测试 用 ， 不 能 拿 到 真正 的 生产 环境 下 运行 。 

2. 挤 掉 性 价 比 指标 的 水 份 

在 引用 性 价 比 指标 时 ， 需 要 注意 提供 测试 系统 价格 的 条 件 。 有 的 厂商 为 了 突出 其 性 
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价 比 指标 ， 对 测试 系统 提供 较 大 的 折扣 ， 而 获得 这 种 折扣 的 条 件 只 有 在 详细 测试 报告 中 
才 会 加 以 说 明 。 此 外 还 需要 注意 的 一 点 是 ， 用 于 计算 性 价 比 指标 的 测试 系统 价格 是 各 厂 
商 在 美国 的 报价 ， 这 与 在 中 国 的 报价 有 很 大 的 差别 。 

3. 检查 数据 库 的 优化 配置 过 程 

各 厂商 为 了 取得 好 的 测试 性 能 指标 ， 都 会 对 系统 进行 调整 和 优化 ， 而 其 中 有 些 配置 
过 程 非常 复杂 或 者 需要 的 时 间 会 很 长 ， 这 些 都 反映 了 该 系统 的 可 管理 性 和 可 使 用 性 。 很 
显然 ， 在 实际 应 用 中 ， 我 们 不 可 能 有 这 么 长 的 时 间 和 精力 去 等 待 和 实现 这 些 优化 ， 至 少 
它 所 需要 的 管理 和 维护 成 本 太 高。 

4. 比 较 测试 的 日 期 与 可 以 供 货 的 日 期 

在 测试 报告 中 ， 除 了 说 明 完 成 测试 的 日 期 外 ， 还 会 说 明 系 统 可 以 供 货 的 日 期 。 一 般 
来 说 ， 由 于 对 系统 进行 各 种 优化 以 及 技术 的 不 断 更 新 ， 后 来 进行 测试 的 结果 一 般 都 会 比 
以 前 的 测试 结果 好 很 多 。 如 果 系统 可 供 货 日 期 比 测试 日 期 晚 ， 说 明 测试 时 系统 还 局 限于 
实验 室 研发 ， 没 有 正式 用 户 。 

5. 分 析 系 统 的 可 扩展 性 

正如 前 面 所 说 ， 企 业 信息 系统 投入 使 用 以 后 ， 采 和 集 的 数据 越 来 越 多 ， 同 时 企业 的 业 
务 量 也 在 不 断 增长 ， 从 而 对 信息 系统 的 升级 变 得 越 来 越 迫 切 ， 因 此 数据 库 系统 的 可 扩展 
能 力也 显得 越 来 越 重要 。 如 果 有 些 测试 系统 的 配置 本 身 已 经 到 了 极限 ， 没 有 任何 可 以 扩 
展 的 空间 ， 在 引用 其 结果 时 也 应 加 以 注意 。 

除 此 以 外 ， 我 们 在 使 用 和 参照 这 些 结果 时 还 应 牢记 以 下 两 点 ; 

其 一 ，TPC 组 织 公布 的 性 能 测试 结果 中 ， 一 些 产品 的 领先 地 位 是 暂时 的 ， 后 来 的 测 
试 结果 一 般 比 以 前 的 好 ， 这 是 因为 测试 模型 是 对 外 公布 的 ， 测 试 程序 是 厂商 编写 的 ， 每 
个 厂商 都 有 足够 的 时 间 针 对 这 些 操作 进行 合理 的 优化 。 

其 二 ， 实 验 室 中 的 性 能 测试 往往 不 能 反映 现实 情况 ， 因 为 现实 应 用 的 环境 和 业务 逻 
辑 要 复杂 得 多 , 在 这 些 不 同 的 业务 逻辑 面前 , 我 们 不 能 简单 地 将 系统 性 能 指标 进行 类 比 ， 
所 以 ， 我 们 还 应 该 针对 自己 的 应 用 系统 ， 设 计 专门 的 性 能 测试 方案 。 
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20.1 测试 需求 分 析 
20.1.1 系统 概述 


《工程 建设 项 目 信 息 管 理 系统 》 是 国家 级 项 目 , 在 全 国 范围 内 使 用 。 使 用 的 用 户 包括 
公司 总 部 及 其 下 属 的 部 门 及 项 目 点 。 该 系统 主要 完成 与 业务 项 目 有 关 的 管理 工作 ， 实 现 
项 目 管理 的 流程 化 、 系 统 化 以 及 自动 化 。 主 要 功能 模块 包括 :结构 化 制度 文档 上 传 与 下 
载 、 非 结构 化 制度 文档 上 传 与 下 载 、 项 目 管理 以 及 工作 办 公 记 事 等 。 

系统 的 部 署 情况 如 下 ，Portal 服 务 器 和 CM 服务 器 设置 在 公司 总 部 ， 总 部 下 局 的 部 门 
及 项 目 点 设置 在 全 国 各 个 省 市 , 总 部 的 连接 方式 采用 100M 局 域 网， 部 门 及 项 目 点 与 总 部 
采用 多 种 连接 方式 ， 包括 宽带 、ISDN、 企 业 骨 干 网 以 及 拨号 等 ， 系 统 软 硬 件 以 及 网 络 环 
境 见 本 章 中 测试 环境 的 相关 描述 。 


20.1.2 用户 需求 描述 


该 系统 并 发 用 户 数 为 100 个 ,模拟 业务 涉及 下 属 部 门 和 项 目 点 , 每 个 下 属 部 门 和 项 目 
点 各 有 两 个 连接 点 ， 其 中 下 属 部 门 连接 数 为 15X2 (目前 应 用 为 10 个 下 属 部 门 )， 项 目 点 
接 数 为 35X2 (目前 应 用 为 23 个 项 目 点 )。 

业务 类 型 主要 是 对 文档 的 上 传 和 下 载 ， 文 档 类 型 主要 以 图 纸 类 非 结构 化 数据 为 主 ， 
同时 也 存在 少量 结构 化 普通 数据 。 

从 外 网 访问 该 系统 ， 某 些 操 作 速度 很 慢 ， 希 望 找 到 故障 瓶颈 ， 以 利于 系统 优化 。 


20.1.3 测试 需求 分 析 


1 需求 分 析 概 述 

准备 对 该 系统 实施 两 次 性 能 测试 。 第 一 次 性 能 测试 为 性 能 检测 与 故障 定位 ; 第 二 次 
性 能 测试 为 对 调 优 之 后 的 效果 进行 评估 。 

第 一 次 性 能 测试 主要 包括 两 个 部 分 ， 局 域 网 测试 和 广域网 测试 。 

局 域 网 测试 主要 内 容 为 : 在 局 域 网 测试 环境 下 ， 对 系统 实施 并 发 性 能 测试 的 同时 ， 
监控 Portal 服 务 器 (IBM Websphere Portal 4.2、DB2 7.2、IBM AIX 5L ML 4〉 和 CM 服务 
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器 (IBM Websphere 5.0、DB2 8.1、IBM AIX 5L ML 4) 的 资源 使 用 情况 。 重 点 定位 应 用 
系统 以 及 软 、 硬 件 支 所 环境 故障 。 

广域网 测试 主要 内 容 为 ， 在 广域网 环境 下 ， 对 系统 实施 并 发 性 能 测试 的 同时 ， 监 控 
网 络 资源 ， 同 时 关注 Portal 服 务 器 及 CM 服务 器 资源 使 用 情况 。 重 点 测试 网 络 环境 对 应 用 
系统 的 影响 ， 定 位 网 络 故 障 ， 分 析 网 络 品质 。 

第 二 次 性 能 测试 针对 第 一 次 性 能 测试 暴露 的 主要 问题 ， 测 试 并 评估 调 优 之 后 的 系统 
性 能 。 

测试 指标 及 测试 案例 分 析 见 后 续 章 节 。 

2. 测试 指标 分 析 原 理 与 方法 

(1) 80 一 20 测试 强度 估算 原理 

每 个 工作 日 中 80% 的 业务 在 20% 的 时 间 内 完成 。 举 例如 下 : 每 年 业务 量 集中 在 8 个 月 ， 
每 个 月 20 个 工作 日 ， 每 个 工作 日 8 小 时 即 每 天 80% 的 业务 在 1.6 小 时 完成 。 

这 里 以 案例 “项 目 管理 ”中 的 检查 点 “条 件 查 询 ” 为 例 ， 来 看 80 一 20 原 理 如 何 应 用 。 

在 过 去 的 一 年 中 ， 处 理 “ 条 件 查询 ”业务 的 约 100 万 人 次 ， 其 中 15% 的 人 对 应 用 服务 
器 提交 7 次 查询 请 求 ， 其 中 70% 的 人 对 应 用 服务 器 提交 5 次 查询 请 求 ， 其 余 15% 的 人 对 应 
用 服务 器 提交 3 次 查询 请 求 。 根 据 以 往 的 统计 结果 , 每 年 的 业务 增 量 为 15% ， 考 虑 到 今后 
3 年 业务 发 展 的 需要 ， 测 试 需 技 现 有 业务 量 的 两 倍 进行 。 

测试 强度 估算 举例 如 下 。 

每 年 总 的 请 求 数 为 ， (100X 15%X7+100X70%X5+100X15%X3) X2=1000 万 次 /年 ; 

每 天 请 求 数 为 ， 1000/160=6.25 万 次 /天 ; 

每 秒 请 求 数 为 ，(18750X80%) / (8X20%X3600) =8.68 次 / 秒 。 

即 服务 器 处 理 查询 请 求 的 能 力 应 达到 8.68 次 / 秒 。 从 后 面 的 测试 结果 可 以 看 到 ， 系 统 
的 这 项 指标 在 并 发 用 户 数 为 50 时 达到 3.56 次 / 秒 ， 此 项 指标 值 初步 判 为 合格 ， 但 必须 预测 
到 当 并 发 用 户 数 达 到 预期 值 100 时 ， 该 项 指标 可 能 会 递增 ， 需 进一步 考察 系统 性 能 。 

其 他 指标 的 分 析 同 理 ， 用 户 可 以 自行 计算 。 

(2) UCML 负载 压力 需求 分 析 方 法 

根据 需要 可 以 采用 UCML 负 载 压力 需 求 分 析 方 法 ， 具 体 使 用 方法 可 以 参考 “应 用 负 
载 压 力 测试 ”章节 。 

3. 测试 案例 分 析 要 素 

(1) 任务 分 布 情况 

主要 关注 如 下 内 容 。 

。 ”交易 任务 种 类 ， 

。 ”在 一 天 的 某 些 特 定时 刻 系统 都 有 哪些 主要 操作 。 
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通过 分 析 ， 可 以 得 到 例如 下 述 有 价值 的 信息 ， 
。 在 上 午 10、 11 点 及 下 午 3、4 点 , 交易 混合 程度 最 高 , 混合 比例 如 表 20-1 所 示 ; 
。 上 午 9 点 和 下 午 两 点 是 登录 高 峰 期 ， 
。 登录 的 并 发 用 户 数 最 大 需 支 持 80, 考虑 业务 扩充 需求 ， 最 大 并 发 用 户 数 取 100; 
。 工作 记事 的 并 发 用 户 数 最 大 需 支持 $S0， 考 虑 业务 扩充 需求 ， 最 大 并 发 用 户 数 取 
80; 
e。 项 目 管 理 的 并 发 用 户 数 最 大 需 支持 30， 考 虑 业务 扩充 需求 ， 最 大 并 发 用 户 数 取 
90; 
e。 退出 的 并 发 用 户 数 最 大 需 支 持 80, 考虑 业务 扩充 需求 ,最 大 并 发 用 户 数 取 100。 
家 20-1 任务 分 布 表 
案例 名 称 并 发 用 户 数 


eh ne 有 WI 
| 1 | : 
站 上 
到 | | 了 
机 es 0 10 pre 
ee Out eee] FE 
i I 
eh i i 
' 
JU 


文件 上 传 
与 下 载 


| 


(2) 交易 混合 情况 

主要 关注 的 内 容 包括 ; 

。 ”系统 日 常 业务 主要 有 哪些 操作 ， 高 巍 期 主要 有 哪些 操作 。 

。 ”数据 库 操作 有 多 少 。 

。 ”如 果 任 务 失败 ， 那 么 商业 风险 有 多 少 。 

如 表 20-2 所 示 为 交易 混合 情况 表 。 选 择 重点 交易 的 指标 为 高 吞吐 最 、 高 数据 库 1/O、 
高 商业 风险 。 对 于 本 系统 ,“ 制 度 文档 ”、“ 项 目 管理 ”以 及 “工作 记事 ”为 负载 压力 测试 
重点 。 

(3) 用 户 概 况 

主要 关注 的 如 下 内 容 。 

。 ”哪些 任务 是 每 个 用 户 都 要 执行 的 。 

。 ”针对 每 个 用 户 组 ， 不 同 任务 的 比例 如 何 。 
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表 20-2 交 遇 混 合 情 况 串 


ee 有 | | | 商业 风险 


70hr | 210hr 低 


i -文件 
这 | 二 | 二 


项 目 管理 | 7or | 200%r | 中 | 高 | 


工作 记事 ee ww | 
退出 系统 | 7omr | 20m | 中 | 低 


负载 压力 测试 痪 要 模拟 不 同 部 门 用 户 的 角色 压力 。 如 表 20-3 所 示 为 用 户 概况 表 。 
过 20-3 用 户 概况 表 


案例 名 称 项 目 室 上 层 领导 
制度 文档 -信息 上 传 [LT | 10 
制度 文档 -文件 上 传 与 T 载 | 4 | | uw 


京 | 嫩 | 上 | 对 


项 目 管理 [mn 10 
工作 记事 0 | 30 | 70 
4。 种 求 分 析 结 论 


以 案例 “项 目 管理 ”为 例 ， 在 系统 交易 高 峰 期 各 项 指标 合格 值 如 下 : 
。 系统 并 发 用 户 数 应 该 达到 50 个 。 

。 ”系统 服务 器 处 理 请 求 的 能 力 应 达到 9 次 / 秒 。 

。 系统 交易 平均 响应 时 间 应 在 10 秒 之 内 。: 


20.2 ”测试 案例 制定 
20.2.1 ”测试 内 容 
1. 局 域 网 测试 
局 域 网 测试 的 主要 内 容 为 : 在 局 域 网 测试 环境 下 , 对 系统 实施 并 发 性 能 测试 的 同时 ， 


监控 Portal 服 务 器 (IBM Websphere Portal 4.2、DB2 7.2、IBM AIX 5L ML 4〉 和 CM 服务 
器 (IBM Websphere 5.0、DB2 8.1、IBM AIX 5L ML 4) 的 资源 使 用 情况 。 重 点 定位 应 用 
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系统 以 及 软 、 硬 件 支撑 环境 故障 。 

(1) 测试 策略 

。 对比 测 试 环境 。 

@ 对 比 测试 环境 1 (首页 无 频道 ， 无 CM); 

@ 对 比 测试 环境 2 (首页 无 频道 ， 有 CM)。 

注意 ， 频 道 需 要 通过 CM 服务 器 加 载 ， 设 置 对 比 测试 环境 的 主要 目的 是 验证 首页 频 
道 对 系统 性 能 的 影响 。 

。 真实 业务 测试 环境 。- -ss 

QD 真实 业务 局 域 网 测试 环境 (首页 有 频道 ， 有 CM): 

真实 业务 机 房 测试 环境 (首页 有 频道 ， 有 CM)。 : 

注意 ， 局 域 网 测试 环境 模拟 该 系统 局 域 网 用 户 使 用 环境 ， 机 房 测试 环境 力求 排除 网 
络 因 素 ， 现 实情 况 下 ， 采 用 光纤 连接 负载 生成 器 与 服务 器 。 

(2) 测试 用 例 

如 表 20-4 所 示 为 局 域 网 测试 案例 。 


表 204 ”局域网 测试 案例 
案例 名 称 | 并 发 用 户 数 (个 )| 网 络 环 境 (带宽 ) 备注 说 明 


100 个 用 户 并 发 ， 上 传 100 条 记录 不 带 附 件 
传 下 载 100M 局 域 网 ”|100 个 用 户 并 发 ， 上 传 100 条 记录 附件 大 小 为 200k) 
管理 100 个 用 户 并 发 ， 新 增 100 条 记录 
0 个 用 户 并 发 ， 新 增 50 条 记录 ; 
100 个 用 户 并 发 ， 新 增 100 条 记录 


机 房 注 : 记录 操作 前 后 数据 库 记 录 数 目 ， 每 个 虚拟 用 户 循环 执行 3 次 案例 交易 。 


(3) 测试 范围 

e。 并 发 性 能 测试 。 

e。 系统 资源 监控 。 

2. 广域网 测试 

广域网 测试 的 主要 内 容 为 :在 广域网 环境 下 ， 对 系统 实施 并 发 性 能 测试 的 同时 ， 监 
控 网 络 资源 ， 同 时 关注 Portal 服 务 器 及 CM 服务 器 资源 使 用 情况 。 重点 测试 网 络 环境 对 应 
用 系统 的 影响 ， 定 位 网 络 故 障 。 

(1) 测试 策略 
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。 机 房 真 实业 务 模拟 环境 ; 

e Intemet 其 实业 务 测试 环境 。 

注意 ， 机 房 真 实业 务 模拟 环境 是 指 在 机 房 环境 进行 测试 ， 但 利用 网 络 分 析 工 具 模拟 
广域网 真实 业务 ; Intemet 真 实业 务 测 试 环境 指 系统 真实 部 署 使 用 的 环境 。 

(2) 测试 用 例 

如 表 20-5 所 示 为 广域网 测试 案例 。 


表 20-5 广域网 测试 案例 ， 


案例 名 称 。 | 并 发 用 户 数 〈 个 ) 备注 说 明 


50 个 用 户 并 发 ， 上 传 | 


50 条 记录 ; 100 个 用 户 eine 
制度 | | 并 发 ， 上传 100 条 记录 | 
5 | 50 个 用 户 并 发 ， 上 传 | 全 入 和 国 伯 
50、100 z : 50 条 记录 ; 100 个 用 户 
传 瞄 宽带 《光纤 ) | 并 发 ， 上 传 100 条 记录 | 部 上 伟 
ISDN 石化 香干 - 


50 个 用 户 并 发 ， 新 增 | 
50 条 记录 100 个 用 户 
并 发 ， 新 增 100 条 记录 


二 50 个 用 户 并 发 ， 新 增 
记事 , 50 条 记录 ; 100 个 用 户 
| 并 发 , 新 增 100 条 记录 


注 ， 记 录 操 作 前 后 数据 库 记 录 数 目 ， 每 个 虚拟 用 户 循环 执行 3 次 。 


(3) 测试 范围 
se ”并 发 性 能 测试 ， 
和 . 系统 资源 监控 ; 
。 系统 应 用 在 不 同 网 络 环境 下 的 模拟 ; 
。 ”系统 应 用 在 不 同 网 络 环 境 下 的 运行 监控 ; 
e 系统 应 用 所 在 网 络 品质 监控 。 
20.2.2 ”测试 方法 


采用 自动 化 测试 方法 和 人 工 测试 方法 相 结合 。 
20.2.3 ”测试 结果 处 理 与 分 析 
e 测试 原始 数据 的 统计 与 整理 ; 
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。 测试 结果 分 析 ; 
。 ”测试 故障 定位 。 


20.2.4 ”测试 报告 


在 第 一 次 性 能 测试 结束 时 ， 出 故障 定位 测试 报告 。 第 二 次 性 能 测试 结束 时 ， 出 性 能 
测试 与 评估 报告 。 


20.2.5 ”现场 测试 配合 


现场 测试 人 员 如 下 。 

中 国 软件 评测 中 心 测试 工程 师 ; 
开发 商 技术 支持 ; 

测试 软 硬 件 环境 技术 支持 ; 

用 户 代 表 。 


20.3 ”测试 环境 、 工 具 、 数 据 准备 


20.3.1 测试 环境 


1， 软 、 硬 件 配置 

e。 ”Portal 服务 器 。 

Q 硬件 。 

机 器 型 号 ，P670; 

CPU: 两 个 powpc-power4 CPU，1.1GHz; 
内 存 ; 3GB; 

硬盘 : 两 块 36GB 硬盘 十 40GB 存储 。 

@ 软件 。 

中 间 件 : IBM Websphere Portal 4.2; 
数据 库 DB2 7.2; 

操作 系统 ，IBM AIX 5L ML 4。 

。 CM 服务 器 。 

Q 硬件 。 

机 器 型 号 ，P670; 

CPU: 4 个 powpc-power4 CPU，1.1GHz; 
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内 存 : 4GB; 

硬盘 ， 两 块 36GB 硬盘 。 

@ 软件 。 

中 间 件 : IBM Websphere 5.0; 

数据 库 : DB2 8.1; 

操作 系统 : IBM AIX 5L ML 4: 

内 容 管理 器 ，IBM CM 8.1。 

2. 广域网 环境 网 络 拓扑 图 

如 图 20-1 所 示 为 广域网 测试 网 络 拓扑 图 。 


压力 (模拟 加 压 软 件 ) 


| probe( 流 地 测试 软件 ) 


Probe ( 控 针 软件 ) 


| Probe ( 探 针 软 件 ) 


图 20-1 广域网 测试 网 络 拓扑 图 
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3. 测试 用 机 

。 测试 用 机 1。 

IBM T41 笔记 本 电脑 。 

CPU: Intel centrino 1.6GHz; 

内 存 ，5$12MB; 

硬盘 ，40GB; 

操作 系统 ， Windows XP Professional 中 文 版 ; 

工具 软件 ，LoadRunner 7.8。 

。 ”测试 用 机 2。 

伦 飞 P14 笔记 本 电脑 。 

CPU: Intel Pentium IV-M 2GHz: 

内 存 ，2S6MB; 

硬盘 ; 40GB， 

操作 系统 :Windows 2000 Server 中 文 版 ; 

工具 软件 : LoadRunner 7.8、Compuware Network Vantage 9.1、Compuware Application 
Vantage 9.1 。 

e。 测试 用 机 3。 

联想 昭 阳 E255 笔记 本 电脑 。 

CPU: Intel centrino 1.4GHz; 

内 存 ，256MB; 

硬盘 ;40GB; 

操作 系统 ，Windows 2000 Professional 中 文 版 ; 

工具 软件 : Mercury Interactive LoadRunner 7.8、Compuware Network Vantage 9.1、 
Compuware Application Vantage 9.1、 Compuware Application Expert 9.1 Compuware Server 
Vantage 9.1 。 


20.3.2 ”测试 工具 


e。 LoadRunnerV7.5.1 (美国 Mercury Interactive 公司 开发 )， 用 于 并 发 性 能 测试 : 

e。 ServerVantage9.1 〈 美 国 Compuware 公司 开发 )， 用 于 代码 级 资源 占用 监控 ; 

。 ”NetworkVantage9.1 〈 美 国 Compuware 公司 开发 )， 用 于 网 络 监控 ; 

。 ApplicationVantage9.1 〈 美 国 Compuware 公司 开发 )， 用 于 网 络 应 用 故障 定位 ; 

。 ApplicationExpert9.1 (美国 Compuware 公司 开发 )， 用 于 应 用 在 不 同 网 络 环境 
下 的 模拟 。 
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20.3.3 ”测试 数据 


1， 和 初始 数据 

初始 数据 需 保证 案例 中 业务 操作 正确 完成 。 

2。 业 务 数据 

查询 业务 操作 记录 的 数据 准备 ， 包 括 当前 数据 和 量 ， 业 务 扩 展 预计 数据 量 。 例 如 ， 
。 案例 “制度 文档 ”中 ， 附 件 上 传 文件 需要 模拟 不 同 规模 大 小 的 文件 ; 
。 ”案例 “项 目 管理 ”中 ， 数 据 库 中 项 目 记 录 数 目 等 。 

3， 脚 本 中 参数 数据 

数据 池内 容 如 下 。 

。 不同 登 录用 户 名 与 密码 ; 

。 “制度 文档 文件 上 传 下 载 ” 所 需 不 同 种 类 的 文件 ; 

e。 不 同 选 择 的 查询 条 件 。 


20.4 测试 脚本 录制 、 编 写 与 调试 


脚本 包括 内 容 如 下 。 

e。 制度 文档 -信息 上 传 ; 

。 ”制度 文档 -文件 上 传 下 载 ; 

bd 项 目 管理 ， 

e 工作 记事 。 

注意 ， 每 个 脚本 中 都 包括 了 登录 与 退出 系统 。 

脚本 的 确定 按照 以 下 步骤 进行 。 

Q@ 脚本 录制 ; 

@ 布置 检查 点 ; 

@ 查找 动态 数据 ; 

@ 参数 替换 ; 

轿 单 脚本 回放 ; 

@@ 脚本 加 压 回 放 。 

注意 ， 步 又 @ 中 ， 如 果 有 动态 数据 则 编辑 脚本 ， 处 理 动 态 数 据 : 若 无 动态 数据 ， 则 
可 省 略 该 步 又 。 
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负载 压力 场景 制定 


主要 包括 以 下 内 容 。 


每 个 虚拟 用 户 Action 的 循环 次 数 ， 定 为 3。 

每 个 虚拟 用 户 Action 的 循环 之 间 的 间隔 ， 定 为 无 。 

日 志 处 理 ， 定 为 有 错误 发 生 时 传递 消息 ， 标 准 日 志方 式 。 

用 户 操 作 时 间 处 理 ， 定 为 忽略 用 户 操作 时 间 。 

错误 处 理 ， 错 误 不 导致 回放 停止 。 

回放 模式 ， 定 为 线程 方式 。 

交易 处 理 ， 定 为 Action 独立 交易 。 

网 络 传输 速度 选择 ， 定 为 最 大 带宽 。 

浏览 器 模拟 方式 ， 定 为 正 6.0; 模拟 浏览 器 cache; 下 载 非 HTML 资源 ;在 每 个 
循环 中 模拟 一 个 新 用 户 。 

代理 处 理 ， 定 为 无 。 

脚本 分 发 模式 ， 定 为 无 。 

虚拟 用 户 数 ， 按 照 案 例 描述 加 载 。 

超时 处 理 ， 设 为 600s， 注 意 ， 工 具 不 同 ， 选 项 处 的 设置 保持 一 致 。 
回放 内 容 检查 ， 定 为 查询 检查 成 功 标志 。 

回放 日 程 模式 ， 定 为 场景 模式 ; 所 有 虚拟 用 户 同时 起 停 ; 交易 完成 时 停止 回放 。 
页 面 分 解 选项 启动 。 

资源 监控 counter 选择 , 定 为 Portal 服务 器 (IBM Websphere Portal 4.2、 DB2 7.2、 
IBM AIX 5L ML 4) 和 CM 服务 器 (IBM Websphere 5.0、DB2 8.1、 IBM AIX 5L 
ML 4)， 具 体 指标 见 测试 结果 。 

其 他 项 选择 默认 方式 。 


测试 执行 
执行 成 功 标志 
系统 运行 正常 。 


所 有 交易 完全 成 功 实现 ， 并 可 重复 执行 3 次 ， 保 证 每 次 结果 误差 在 可 接收 范围 
之 内 。 
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“ 。 ”资源 监控 指标 能 够 获取 有 效 值 。 
20.6.2 ”实时 监控 内 容 


。 压力 瓶颈 报错 信 筷 。 
e ”交易 执行 关键 指标 。 
。 ”资源 监控 关键 指标 。 
交易 成 功 执行 之 后 ， 务 必 保存 测试 原始 数据 结果 。 


20.7 ”测试 结果 及 分 析 


20.7.1 测试 结果 


1， 对 比 测 试 环 境 1 和 对 比 测试 环境 2 
(1) 交易 执行 情况 
se ”制度 文档 。 如 表 20-6 所 示 为 制度 文档 交易 执行 情况 。 


表 20-6 ”制度 文档 交易 执行 情况 


案例 名 称 | 并 发 用 户 数 交易 响应 时 间 (s) 平 均值 | 交易 通过 率 (tran/s) 坡 大 值 
/ z 文件 下 载 
信息 上 传 | 50() | 25767 | 8797 | | 1406 | 134 


文件 上 伟 / / / Ss 
下 载 (CM) $0 (f) | 8.911] 60.879 2.688 


注 :《f) 表示 交易 未 能 完全 成 功 实现 。 


2.25 


。 ”项 目 管理 。 如 表 20-7 所 示 为 项 目 管理 交易 执行 情况 。 
re 


表 20-7 项 目 管理 交易 执行 情况 

条 件 查询 
500 | 14703 
醒 - 一 ~ 厢 晰 : 一 各 本 一 恒 着 恒 面 一 而 是- 司 


注 :〈f) 表示 交易 未 能 完全 成 功 实现 。 


案例 名 称 


项 目 管理 


e。 工作 记事 。 如 表 20-8 所 示 为 工作 记事 交易 执行 情况 。 
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表 20-8 工作 记事 交易 执行 情况 


一 六 司 且 应 肝 间 (平均 值 TREETEST 

案例 名 称 | 井 发 用 户 数 | 条件 查 询 新 增 记 天 条 件 查询 “| ”新 增 记 事 
一 4 入 ea | 55 
13.688 | 34798 | 2 | 2188 


工作 记事 
注 ，(9 表 示 交 易 未 能 完全 成 功 实现 。 
(2) 资源 占用 情况 : 
e UNK 资源 。 如 表 20-9 所 示 为 UNIX 资源 占用 情况 。 


家 20-9 UNIX 资源 占用 情况 
Disk Traffic(bytes/s) 
和 Tr 
服务 器 | 服务 器 服务 器 服务 器 服务 器 “| 服务 器 
信息 上 传 50 | 0666 | | 00i5/0087 | | 1724 | 


并 发 用 
户 数 
350 
文件 上 传 
550 
_50(CM) | 
50 
本 


0733 | 82.51l fF 00.571 | 0.882/32.515 5.376 


0.398 | 69.427 | 0/0.482 | 0.213/7.046 | 0.933 | 5.462 
0.028/28.461 | 0.942 | 5.891 


。 DB2 资源 。 如 表 20-10 所 示 为 DB2 资源 占用 情况 。 


家 20-10 DB2 资源 占用 情况 
案例 检查 点 〈 并 发 用 户 数 ) 


时 信息 [文件 工作 记事 

监控 指标 ”“ | 服务 器 | ”数据 库 文件 上 | 。 项 目 管 理 | 工作 记事 | 工人 有 

50 | 50 | so0 |S0CM| 5s0 | 9% | s0 | 9 

CM | RMDB | .010 10 | 1100 | [0 

failed_sql_stmts| 服务 器 | ICMNLSDB | 0 | 0 | 0 1c|io| |10 
(numy) (L) Portal 

ee 

cM | RMDB | 0 10l1|0| 10o10 1 1 

locks_held 服务 器 | ICMNLSDB | 0.112 | 4321 | 0 | ”| oo0 1 1 

2 
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， 续 表 
A 《并 发 用 户 数 ) 


| 信息 文件 上 工作 记事 
工作 记事 | 习作 

] 一 
一 


locks_waiting 服务器 | _CMNLSDB | 0 | 0 | 0 | 10 


(num) Portal 
i | eevee | mm 


一 HH 一 
rollback_sql_st 各 各 CMNLSDB | | 5 | 


A Be | weveon | fla onal tons] 
| 服务 器 ECIMSDB 53.833162.206 157 


注 ， 必 ) 殊 示 蜀 计 位 ， 


© WebSphere 4.2 资源 (Portal 服务 器 )。 如 表 20-11 所 示 为 WebSphere 4.2 资源 
(Portal 服务 器 ) 占用 情况 。 


中 20-11 WebSphere 4.2 资源 (Portal 服务 器 ) 占用 情况 
案例 检查 点 〈 并 发 用 户 数 ) 


EN 
ForLock 7286.007 6136.397 7314.304 8360.212 7730.632 
(ms) 


NumWaitsFor 85635.785 68380.069 “了 而 179791.783 227751.017 | ,017 中 102244.143 
Lock (numy) | 
ed 154385315， 494 150958556.23 ee 867|141687711.58€ Tr 148709897.016 


| | 308685467.544 544| 306356665.379 9 268892672 | p90ss1190.069 oo | 305789440 


| | | | | 

Sessions 31.161 350.367 842.707 189.566 
(num) 

Concurrent 
= 

(umy》 
ST 


(num) 


一 
me (ms) 
| 


29863.835 14753.103 | | 54503.6 | 98380.793 | | 50685.778 


监控 指标 。 “| 服务 器 | 


Slol © |olols 


a 
wr 
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2. 真实 业务 局 域 网 测试 环境 
(1) 交易 执行 情况 
。 ”制度 文档 。 制 度 文档 交易 执行 情况 如 表 20-12 和 表 20-13 所 示 。 


表 20-12 制度 文档 交易 执行 情况 


交易 响应 了 时间 (s) 平 均值 


_ 5671 | 20592 | | 4 


家 20-13 ”制度 文档 交易 执行 情况 II 
案例 名 称 交易 响应 时 间 (s) 平 均值 交易 通过 率 (tran/s) 最 大 值 
用 户 数 | 查询 所 有 | 信息 上 传 『 文件 下 载 | 查询 所 有 文件 下 载 


信和 上 传 | 4 | 6402 | 22337 | | 3 | 4355 
文件 上 传 | 40(x1f | 6.576 | 35.183 | 9%886 | 25 3.5 


3125 
TF 载 | 500 | 9.129 | 43307 | 12249 | 3375 | 275 | 3375 
注 ， 本 组 数据 为 发 生 虚拟 用 户 不 能 循环 执行 案例 交易 情况 之 后 的 测试 数据 。 


e。 项 目 管理 。 项 目 管理 交易 执行 情况 如 表 20-14 和 表 20-15 所 示 。 


家 20-14 项 目 管理 交易 执行 情况 ] 

并 发 用 户 数 交易 响应 时 间 ($) 平 均值 交易 通过 率 (tran/s) 最 大 值 
项 目 选择 【新 增 项 目 | 条 件 查询 | 项 目 选择 [新 增 项 目 [条 件 碍 询 

50 | 142.66 | 27.094 | 71.921 | 12.361 | 1.188 | 1063 | 1. 


表 20-15 项 目 管理 交易 执行 情况 II 


并 发 用 户 数 交易 响应 时 间 (s) 平 均值 交易 通过 率 (tran/s) 最 大 值 

项 目 选 择 | 新 增 项 目 | 条 件 查询 | 项 目 选 择 | 新 增 项 目 [条 件 查询 
40(xlD | 34.451 | 69.669 | 7.545 | 15 | 1.125 | 1.875 
50(xlf) | 46.552 | 86.105 | 10.992 | 2.75 | 1.875 | 2.333 


注 ， 本 组 数据 为 发 生 虚 拟 用 户 不 能 循环 执行 案例 交易 情况 之 后 的 测试 数据 。 
。 工作 记事 。 工 作 记 事 交 易 执 行情 况 如 表 20-16 和 表 20-17 所 示 。 


家 20-16 工作 记事 交易 执行 情况 I 


pty ee 交易 响应 时 间 (s) 平 均值 交易 通过 率 (tran/s) 最 大 值 
条 件 查询 条 件 查 询 ”| 新 增 记事 
工作 记事 | 30 | 46607 | 214 | 45 | 6 | 45 


案例 名 称 


案例 名 称 
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表 20-17 工作 记事 交易 执行 情况 II 


站 发 用 记名 交易 通过 率 (tran/s) 训 大 从 
新 增 记事 
| 
S00xlD | 2557 | 49%3 | 4625 _ 


注 ， 本 组 数据 为 发 生 虚拟 用 户 不 能 循环 执行 案例 交易 情况 之 后 的 测试 数据 。 
。 ”混合 案例 。 混 合 案例 交易 执行 情况 如 表 20-18 所 示 。 
表 20-18 ”混合 案例 交易 执行 情况 


案 全 名称 | 发 用 户 数 交易 响应 时 间 〈s》 平均 什 [交易 通过 率 〈tran/s) 最 大 什 
Pe 查询 所 有 | 信息 上 传 | 文件 下 载 | 查询 所 有 | 信息 上 传 文件 下 载 


工作 记事 


信息 上 传 | 10 8.815 19.198 
9.839 0.875 
下 载 168.615 | 
Ae Er Er 
reg EI EE EE na 
(2) 资源 占用 情况 


。 UNIX 资源 。 如 表 20-19 所 示 为 UNIX 资源 占用 情况 。 
表 20-19 UNIX 资源 占用 情况 


| cpU(%) z pe Out (num/s) | Disk Traffic(bytes/s) 


Portal 人 Mi Portal 
服务 器 | 服务 器 服务 器 


19. a 65.16] 
0.654/11.778 0.008/5.763 23.021 5.692 
18. 072 74.142 
0.053/6.14 0/1.59 3.347 4.965 
539.739 


文件 

23.495 76.131 
上 传 | 0.106/24.092 | 0.039/5.402 i 4.426 
下 载 84.181 100 
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Page In/Page Out (nuim/s) Disk Traffic Cbytes/s) 


CM 
CM Portal CM 
服务 器 s 
(登录 ) 服务 器 服务 器 服务 器 


84.511 
| 0/3.397 0.267/74.587 4.733 
100 
71.767 
0/0.165 0.035/6.28 


。 ”DB2 资源 。 如 家 20-20 所 示 为 DB2 资源 占用 情况 。 
: 表 20-20 DB2 资源 占用 情况 


案例 检查 点 《并 发 用 户 数 ) 
监控 指标 服务 器 数据 库 “| .信息 上 传 oe Ee 
30 |som0| so0 | 5 | 3 
: | og 0 
failed_sql_stmts (num) (L) ICMNLSDB | 0 |0|10|10o01D0o 
Portal 服 务 器 | ECIMSDB | 7 | 8 | 3 | us | 。 
eg 0 
locks_held (num) ICMNLSDB | 0 | 0 |4321| 0o | 0 
Portal 服 务 器 | ECIMSDB |16.469|31.218 | 19.445 | 52.645 | 35.088 
locks_waiting (num) wg pa | 0 -2 0 
cMNLSDB | 0 | 。 | 。 | 。 | 。 
Portal 服 务 器 | ECIMSDB | 0 | o | % | osz | 。 
rollback_sql_stmts (num) (L RMDB | 0o|0o|0o|0o。|, 
4 7 
ER ECIMSpDB | 7 | 8 | 3 | us | 。 
commit_ sql stmts (L) | _Portal 服 务 器 | ECIMSDB | 838 | 1395 | 1790 | 1710 | 828 
pool_data_ 1 reads Portal 服务 器 | ECIMSpB | 0 | 0 | o | 。 | 。 
pool_data_p_reads Portal 服 务 器 | ECIMSDB | 0 | 0 | 0 | 。 | 。 
‘pool_data_writes Portal 服 务 器 | ECIMSDB | 0 | 。 | 。 | 。 | 。 
pool_index_1_reads Portal 服 务 器 | EcIMspB | 。 | 。 | 。 | 。 | 。 
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续 表 
案例 检查 点 《并 发 用 户 数 ) 
[文件 上 | 项 目 「 工作 
人 tl - 
pool index_p reads 
pool_index_writes a ee | 
dynamic_sql_stmts(L) 


static_sql_stmts(L) a 1828 | 828 
rows_deleted(L) | 


监控 指标 


b= 


rows_inserted(L) oi | 66 
rows_selected(L) _ Portal 服 务 器 | ECIMSDB |138113|212438|227194|241938 | 150104 


mm PoniB%B | ECMspB | so | 140 | 29 | 346 | 6 


注 ，(L) 骨 示 黑 计 伞 。 


e。 ”WebSphere 4.2 资源 (Portal 服务 器 )。 如 表 20-21 所 示 为 WebSphere 4.2 资源 
(Portal 服务 器 ) 占用 情况 。 


家 20-21 WebSphere 4.2 资源 (Portal 服务 器 ) 占用 情况 


案例 检查 点 〈 并 发 用 户 数 ) 
-监控 指标 信息 上 传 文件 上 传 下 载 | _ 项 目 管理 二 
ET TT EE 


s0 
AvgTimeWaitForLock (ms) 6202.77 | rr 
NumWaitsForLock (num) 267646.886 
freeMemory (byte) ramaes2 cos [troreoa 53]i05373477 714 15881956 426 |119752476.571 
totalMemory (byte) | 273283584 


InvalidatedSessions (num) 697.8 ] 795.429 S89 


ConcurrentRequests (num) 33.508 33.997 34.914 32.448 


numErrors (num) | 0o0 | o | oo | 。 | 0。 
responseTime (ms) 7709.501 | 7826.233 | 7646.366 6771.615 | 7962.013 
TotalRequest 92227.03 100416.357 | 28078.266 | 79607.086 


3。 真实 业务 机 房 测试 环境 

(1) 交易 执行 情况 

这 里 所 列 测试 数据 为 “真实 业务 机 房 测试 环境 ”与 “真实 业务 局 域 网 测试 环境 ”对 
比 数据 。 

。 ”制度 文档 。 
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Q@ 信息 上 传 (40xX3、 机 房 、 未 能 成 功 实现 ， 失 败 3 个 交易 ， 进 入 业务 系统 )。 制 度 
文档 交易 执行 情况 如 表 20-22 所 示 。 


表 20-22 制度 文档 交易 执行 情况 


Transaction Name Maximum 
Actionl Transaction 32.827 40216 | 69.064 
vuser end Transaction 0 0 


vuser init Transaction ~ | 85509 | 15082 | 204778 


新 增 信息 上 传 8.432 
查询 所 有 综合 管理 类 | 202 | 23%9 4.416 
进入 业务 系统 24.977 
进入 系统 管理 212 | 308 8.963 


@ 信息 上 传 (40X3、 局 域 网 、 成 功 实现 )。 如 表 20-23 所 示 为 信息 上 传 交易 执行 
情况 。 


表 20-23 信息 上 传 交易 执行 情况 


Transaction Name Average Maximum 
Action] Transaction 39959 | 4875 56.701 
vuser end_Transaction 0 | 0 0 
vuser init_ Transaction 92851 | 156608 198.623 
新 增 信息 上 传 12.027 
查询 所 有 综合 管理 类 6.279 
进入 业务 系统 | 12266 | 24485 | 30.65 
进入 系统 管理 243 | 508 12.137 


® 文件 上 传 与 下 载 (40X3、 机 房 、 成 功 实 现 )。 如 表 20-24 所 示 为 执行 情况 [。 
家 20-24 文件 上 传 与 下 载 交易 执行 情况 I 


Transaction Name Maximum 
Actionl_Transaction 374714 | 6 91.091 
vuser end_Transaction 0 | 0 | 0 
vuser_init_ Transaction 188.003 
文件 下 载 10.109 
新 增 上 传 文件 16.644 
查询 全 部 集团 2 | ?9%4 | 57? 
进入 业务 系统 ls | 3295 | S069 
进入 系统 管理 \ 5 | 3543 | 12708 
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@ 文件 上 传 与 下 载 (40X3、 局 域 网 、 成 功 实现 )。 如 表 20-25 所 示 为 执行 情况 1T[。 


阴 20-25 ”文件 上 传 与 下 载 交 易 执行 情况 II 


Transaction Name | Minimum | Average | Maximum 
Actionl Transaction | 35l404 67.578 | 
vserendTransaction | 0 | °°。 | oa 


140.266 204.877 


vuser init_ Transaction 38.369 | 140266 | 

文件 下 载 263 | 9%6 15.202 

新 增 上 传 文件 26.939 

查询 全 部 集团 7.29 

进入 业务 系统 27.908 

进入 系统 管理 242 | 456 9.023 
。 项 目 管理 。 


Q@ 40X3、 机 房 、 未 能 成 功 实现 (失败 3 个 交易 ， 两 个 进入 业务 系统 ，! 个 新 增 项 目 )。 
如 表 20-26 所 示 为 项 目 管理 交易 执行 情况 I。 


中 20-26 项 目 管理 交易 执行 情况 1 


Transaction Name Maximum 
Actionl_Transaction 146.489 
vuser end Transaction EF 0 | 0 
vuser init_Transaction 209.339 
新 增 项 目 __ 21492 | 47764 65.274 
进入 业务 系统 2233 | 2135 29.543 
项 目 查 询 | 2.094 | “5007 | 19.628 
项 目 选 择 _39.647 


加 40X3、 局 域 网 、 成 功 实 现 。 如 表 20-27 所 示 为 项 目 管理 交易 执行 情况 II。 


家 20-27 项 目 管理 交易 执行 情况 II 
Transaction Name Maximum 


Actionl_Transaction | 102.546 | 154709 | 232.435 
ten i Tt I | 
vuser init Transaction 229.132 
新 增 项 目 40087 | 7369 | 133.222 
进入 业务 系统 56.521 
项 目 查询 213 | 549 | 20.08l 
项 目 选 择 87.922 
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。 工作 记事 。 
@ 30X3、 机 房 、 成 功 实现 。 其 工作 记事 交易 执行 情况 如 表 20-28 所 示 。 


表 20-28 工作 记事 交易 执行 情况 I 


Transaction Name Minimum | Average Maximum 

Action Transaction 31.156 | ， 43734 | 52.295 
vuser_ end Transaction 0 | 0 | 0 
vuser init Transaction 138.998 
新 增 工作 记事 33455 | 486L 8.991 
条 件 查询 4.396 
进入 业务 系统 883 | 1619 21.559 
进入 工作 记事 | 22%3 | 5 7.551 
进入 日 常 办 公 0 | 1 1.009 
选择 日 其 2285 | 452 7.611 


@ 30X3、 局 域 网 、 成 功 实现 。 其 工作 记事 交易 执行 情况 如 表 20-29 所 示 。 
表 20-29 工作 记事 交易 执行 情况 I 


Transaction Name | Maximum 
Action Transaction 77.004 | 103.931 | 132.703 
vuser end_Transaction 0 0 
vuser init Transaction 172.644 
新 增 工 作 记事 | 6659 | 21088 _ 37.916 
条 件 查询 219%3 | ?46 7.22 
进入 业务 系统 422 | 21074 _ 25.165 
进入 工作 记事 48.8 
”进入 日 常 办 公 1 | 1 | 1.01 
选择 日 期 6277 | 20346 | 31.384 


。 ”混合 案例 。 8 
Q@ 混合 案例 (20+10+10+10〉X3、 机 房 、 成 功 实 现 。 其 执行 情况 如 表 20-30 所 示 。 
家 20-30 ”混合 案例 交易 执行 情况 1 


Transaction Name Mnimum | Average | Maximum 
Action Transaction 322.464 
Actionl Transaction 477.686 
vuser end Transaction 0 
vuser init Transaction 272.085 
文件 下 载 29.042 
新 增 上 传 文件 114.164 
新 增 信息 上 传 106.162 
新 增 工作 记事 36%6 | 4563 | 84.121 
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续 表 

Transaction Name Maximum 
新 增 项 目 _ 223.321 
条 件 查 询 2 | | 9.847 
查询 全 部 集团 一 2 一 2 34.029 
查询 所 有 综合 管理 类 -22 一 一 上 一 2 一 31.035 
进入 业务 系统 57. .936 150.246 
进入 业务 系统 53.433 150.265 
进入 工作 记事 50.072 
进入 日 常 办 公 [ oo | 126 5.869 
进入 系统 管理 0 58.053 
_ 选 择 日 期 2444 | 2428 40.057 
项 目 查 询 | 22.022 
项 目 选择 33%5 | 28.592 | 69.099 


@ 混合 案例 (20+10+10+10〉X3、 局 域 网 、 未 能 成 功 实现 。 其 执行 情况 如 表 20-31 所 示 。 
(失败 15 个 交易 ，2 个 新 增 工作 记事 ，9 个 进入 业务 系统 ，4 个 选择 日 期 ) 
家 20-31 混合 案例 交易 执行 情况 [I 


Transaction Name Maxilmum 
Action Transaction | 6499 | 96.177 | 112.407 
Actionl Transaction 164.34 
vuser end Transaction 一 一 > 一 _ 0 
vuser init Transaction 8 0 -一 | . 278.066 
文件 下 载 | 37289 | 5449] | 65.78 
新 增 上 传 文件 30.443 
新 增 信息 上 传 | 24.926 
新 增 工作 记事 20.564 
新 增 项 目 84.575 
条 件 查询 一 25 EE 3.704 
查询 全 部 集团 -一 2 一 一 2 15.569 
查询 所 有 综合 管理 类 | 2441 | 7845 | 1651 
进入 业务 系统 一 za 一 | 38.993 
进入 业务 系统 光一 一 交 | 一 39.296 
进入 工作 记事 | 538 | 10774 | 16.188 
进入 日 常 办 公 a 1.016 
进入 系统 管理 18.466 
选择 日 其 3428 | 1249 | 22.489 
_ 项 目 查询 ECE CE 26.276 
项 目 选择 | 9%245 | 22233 43.32 


注 : 混合 案例 比例 设置 同 前 ; 对 于 未 完全 成 功 的 案例 ， 上 述 指 标 统计 的 为 成 功 交 易 的 啊 应 时 间 ， 
这 一 点 从 某 种 程度 上 讲 也 降低 了 交易 平均 啊 应 时 间 。 
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(2) 资源 占用 情况 
。 UNIX 资源。 如 表 20-32 所 示 为 UNIX 资源 占用 的 情况 。 


琢 20-32” UNIX 资源 占用 情况 


CrPU(%) Poge TPege Out Cnomle) puke isk Traffic (bytes/s) 
案例 名 称 ”| 并 发 用 户 数 ICM 服 务 器 [Portal 服 务 器 CM Portal Portal 
(登录 ) | 〈 最 大 值 ) 服务 器 服务 器 服务 器 

TT ee , 


项 目 管理 40(f) re ts 0 0/2.509 |4.103/583.628| 4.805 | 26.419 


re 训 
| 昌 | 闵 
它 商 


J 
工作 记事 Eh A 0/3,225 19.3347/44.411 20.424 
0 6 9 


。 DB2 资源 ; (Portal 服务 器 )， 其 占用 情况 如 表 20-33 所 示 。 


表 20-33 DB2 资源 (Portal 服务 器 ) 占用 情况 


案例 检查 点 〈 并 发 用 户 数 ) 
文件 上 传 下 载 工作 记事 | 混合 案例 


40 _ 
— 


监控 指标 信息 上 传 


failed_sql_stmts (num) (L) 
locks_ held (num) 35.809 
locks _ waiting (num) 


0.731 


rollback sql_stmts (num) (L) 3 
commit sql_stmts (L) 1068 

pool data | reads 0 
pool data p_reads 


pool data writes 
pool index | reads 
pool index p_reads 
pool index writes 
dynamic_ sql_stmts(L) 17629 


ts 
CN 
Wm 
一 


22048 
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案例 检查 点 半 委 用 人 下》 


监控 指标 | 混合 案例 
EE 50 
static_sql_stmts(L) | | | | 
rows_deleted(L) 0 | le | |,， 
rows,_inserted(L) |_ nn | wm |3 | | 2 


111 
rows_selected(L) 235538 243289 288423 | | 437934 
rows_updated() 0 | » | ‘4s | | ;3 


。 WebSphere 4.2 资源 (Portal 服务 器 )， 其 占用 情况 如 表 20-34 所 示 。 
家 20-34 ” WebSphere 4.2 资源 (Portal 服务 器 ) 占用 情况 
| 机上 《并 必用 1 


监控 指标 0 


AvgTime WaitF 一 
9531.475 8813.093 9602.327 7308.5357 9899.55] 
ms 


NumWaitsForLock (num) 220804.016 | 201662. 731 230661.281 85779.056 | 2609333.328 
freeMemory (byte) 1104753042. 625) 122319162. 2 91877367 281 | 95778101.185 |107665960.826 


TotalMemory (byte) 297859584 297859584 297859584 |271065069.037| 297859584 


InvalidatedSessions 
612.442 6]11.463 678.618 1115.241 
(num) 


ConcurrentRequests 
( 9 ) 120.118 105.298 126.197 7.341 134.689 
mu 


numErrors ‘(num) 


ResponseTime (ms) 13509.327_ 4308.865 | 12788.056 _ 
totalReauest | 96286.672 | 75048.06 8018.98! | 128272.362 


。 ”进程 CPU% 与 Memory% 明 细 (机 房 ，Portal 服务 器 ): 测试 数据 取 测 试 周期 内 
， 最 大 值 作 进程 明细 分 析 。 

e。 制度 文档 。 

信息 上 传 CPU% (40X3、 未 能 成 功 实现 )。 制 度 文档 CPU% 明 细 分 析 如 图 20-2 所 示 。 
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图 20-2 ”制度 文档 CPU% 明 细 分 析 


回 信息 上 传 Memory% 〈40X3、 未 能 成 功 实现 )。 制 度 文档 Memory% 明 细 分 析 如 图 
20-3 所 示 。 


:bt ae i ert Te 四 了 
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图 20-3 ”制度 文档 Memory% 明 细 分 析 
@) 文件 上 传 与 下 载 CPU% 〈40X3、 成 功 实现 )。 其 明细 分 析 如 图 20-4 所 示 。 
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图 20-4 文件 上 传 与 下 载 CPU% 明 细 分 析 
@ 文件 上 传 eg (40X3、 其 明细 分 析 如 图 20-5 所 示 。 
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图 20-5 文件 上 传 与 下 载 Memory% 明 细 分 术 
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。 ”项目 管理 : 
@ CPU%、40X3、 未 能 成 功 实现 。 其 明细 分 析 如 图 20-6 所 示 。 
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20-6 项目 管理 CPU% 明 细 分 析 


@ Memory%、40X3、 未 能 成 功 实现 。 其 明细 分 析 如 图 20-7 所 示 。 
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图 20-7 项目 管理 Memory% 明 细 分 析 
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。 工作 记事 : 
CPU%、30X3、 成 功 实现 。 其 明细 分 析 如 图 20-8 所 示 。 
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图 20-8 工作 记事 CPU% 明 细 分 析 
@ Memory%、30X3、 成 功 实现 。 其 明细 分 析 如 图 20-9 所 示 。 
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图 20-9 工作 记事 Memory% 明 细 分 析 
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不 加 说 明 指 标 均 取 平 均值 ; 

(表示 交易 未 能 完全 成 功 实现 ， 

(x1) 表 示 交 易 未 能 完全 成 功 实现 ， 循 环 执行 1 次 ; 

其 他 监控 指标 值 见 测试 原始 数据 (可 以 利用 Loadrunner 分 析 器 查看 ， 本 书 略 )。 


结 采 分 析 


1， 局 域 网 结果 分 析 
(1) 并 发 用 户 数 
总 的 看 来 ， 下 述 错误 主要 集中 在 交易 执行 部 分 ， 登 录 部 分 很 少 报错 。 


案例 “制度 文档 ”， 最 大 并 发 用 户 数 未 达到 50， 


(“信息 上 传 ”报错 : 


Actionl.c(S7): Error -26612: HTTP Status-Code=500 (Internal Server Error) for "http://ecims. X 
X XX.com.cn/servlet/X X X.com.auss0,SSO_USER_LOGON" (服务 器 响应 错误 )。 
web_custom request(" X X X .com.ausso.SSO_ USER LOGON", 


"URL=http://ecims. X X X X .com.cn/servlet/ X X X .com.ausso.SSO_ USER LOGON", 


"Method=POST", 
"Resource=0", 
"RecContentType=text/html", 


"Referer=http://ecims. X X X X .com.cn/wps/myPortal/.cmd/cs/.ce/155/.s/1322/.7/1", 


"Snapshot=t6.inf", 
"Mode=HTTP", 


"Body=userid=CSTCOl&userpassword=CSTCSElI&servleturl=%2Fmain.jsp&reloginservleturl=%2Flog 
in,jsp&usemame=- 久 Systemnarme=2%E4290B8%6AD9%0E79%a9F9%60B396ES9%68C9%096%0E5%B729%6A5S2%0E7%0A8%8B 
%ES%0BB%BA9%E8%AE%BE2%E42%BF2%6A19%6E69%081296AF%E72%6AE9%0A196E79%0902%0862%0E7%B39%BBo%E 
7%BB%IF&sub_system code=&sub system name=&sdet liang=zh", 


LAST); 


包 “文件 上 传 ” 报 错 : 


‘Actionl.c(3628): Error -27792: Failed to transmit data to network: [10053] Software caused 
connection abort 19 (网 络 错误 )。 加 
web_custom_request("ECIMS.DT.BusinessProcess.DOC STAN UPLOAD process", 
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MURL=http:ecims.xxxx.comucryservleUECIMS.DT.BusinessProcess.DOC STAN UPLOAD process", 
"Method=POST", 
"Resource=0", 
"RecContentType=text/html", 
"Referer=http://ecims.xxxx.comucn/doc/doc stan_inputjsp ， 
"Snapshot=t17.inf", 
"Mode=HTTP", 
"Binary=1", 
"EncType=multipart/form-data;boundary=-- 一 一----- 一 ---- 一 ------ -7d49e3a5b0762", 
body]l ecims dt businessprocess doc_stan upload process, 
LAST); - 
Actionl.c(231): Error -26612: HTTP Status-Code=500 (Internal Server Error) for "http://ecims., 
xxxx,com.cn/servlet/ECIMS.DT.BusinessProcess.COM_NEED_DO_process"” (服务 器 响应 错误 )。 
web custom request("ECIMS.DT.BusinessProcess.COM_NEED DO process", 


"URL=http://ecims.xxxx,.com.cn/servlet/fECIMS.DT.BusinessProcess.COM_NEED DO process", 
"Method=POST", 
"Resource=0", 
"RecContentType=text/html", 
"Referer=http://ecims.xxxx.com.cn/servlet/xxx.com.ausso.SSO_USER_LOGON", 
"Snapshot=t10.inf", 
"Mode=HTTP"， 

"Body=date=&where=+and+need type+in+96289627%CF%B5%CD3%6B3%D0%B49%4C8%EB9%279%2C 
%279%6B996A49%6D79%F79%C89%D5%B39%CC9%27%29+and+status+%3D+9%279%0B49%FD9%B4%A6%C0%0ED 
%27+and+substr%28alert begin%2C1%2C10%29%3C%3D%272004-04-30%27+and+SUBSTR%28ALERT_ 
end%2C1%2C10%29%3E%3D%272004-04-30%27+and+EMP_ID+%3D%27CSTC01%27+ordertby+ALE_ 
RT BEGIN&act type=select&userid=CSTCOl&servleturl=%2Fhr%2Fcom_need do_db_redirect_main.jsp& 
StartRow=0&RowPerPage=30000", 

LAST); 
e 案例 “项 目 管理” 无 CM 最 大 并 发 用 户 数 未 达到 50， 有 CM 最 大 并 发 用 户 数 
达到 50 “无 CM” 报 错 : 


vuser inlte(7): Error -27796: Falled to connect to server "eclms.xxxx.com.cn:80": [10060] 
Connection timed out (服务 器 连接 错误 )。 
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web url("ecims.xxxx;com.cn", 
"URL=http://ecims.xxxx.com.cn/", 
"Resource=0", 
"RecContentType=text/html", 
"Referer=", 
"Snapshot=t].inf", 
"Mode=HTTP", 
LAST); 


。 ”案例 “工作 记事 ”， 最 大 并 发 用 户 数 达到 90,“ 并 发 用 户 数 100” 报 错 : 


Actionl.c(60): Error -26612: HTT?P Status-Code=500 (Internal Server Error) for http://ecims.xx- 
xx.com.cn/servlet/xxx.com.auss0.SSO_USER_LOGON (服务 器 响应 错误 )。 
web_submit_data("xxx.com.ausso.SSO_USER LOGON", 
"Action=http://ecims.xxxx.com.cn/servlet/xxx.com.ausso.SSO_USER LOGON", 
"Method=POST", 
"RecContentType=text/html", 


"Referer=http://ecims.xxxx.com.cn/wps/myPortal/.cmd/cs/.ce/155/.s/322/.r/1", 
"Snapshot=t6.inf", 
"Mode=HTTP", 

ITEMDATA, 

"Name=userid", "Value=CSTC01", ENDITEM, 
"Name=userpassword", "Value=CSTCSE!", ENDITEM, 
"Name=servleturl", "Value=/main.jsp", ENDITEM, 
"Name=reloginservleturl", "Value=/login.jsp", ENDITEM, 
"Name=usemame", "Value=-", ENDITEM， 
“Name=systemname”"，"Value 一 中 让 中 中 相让 让 中 中 让 本 让 8? ENDITEM, 
“Name=sub _ system_code"， "Value=", ENDITEM, 
"Name=sub_system_ name", "Value=", ENDITEM， 
"Name=sdet_lang", "Value=zh", ENDITEM, 
LAST); 


。 ”真实 业务 测试 环境 : 案例 “制度 文档 ” 最 大 并 发 用 户 数 未 达到 50,“ 信 息 上 传 ” 
报错 如 下 。 


Actionl.c(270): Error -26627: HTTP Status-Code=404 (Not Found) for http://ecims.xxxx .Com.cn/ 
myPortal.cmd/cs/.ce/155/.s/322/.r/1 《请求 的 资源 未 找到 )。 
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web custom request( ) Sectunity_check ， 
"URL=http://ecims.xxxx.com.cn/) secunty check ， 
"Method=POST", 
"Resource=0", 
"RecContentType=text/html", 
"Referer=http://ecims.xxxx,.com.cn/ssoBody.jsp", 
"Mode=HTTP", 
"Body=] username=CSTCOl&] password=CSTCSEL", 
LAST); 


。 呐 实 业务 测试 环境 : 案例 “文件 上 传 下 载 "， 最 大 并 发 用 户 数 未 达到 50,“ 文 件 
上 传 下 载 ” 报 错 如 下 。 


Actionl.c(270):Error -26612: HTT?P Status-Code=s00 (Internal Server Error for "http://ecims.*- 
xxx.com.cn/servjet/xxx.com.auss0.SSO_USER_ LOGON" (服务 器 响应 错误 )。 
web _ custom request("xxx.com.ausso.SSO_USER LOGON,, 


"URL=http://ecims.xxxx.com.cn/servlet/xxx.com.ausso.SSO_ USER LOGON", 
"Method=POST", 
"Resource=0", 
"RecContentType=text/html", 
"Referer=http://ecims.xxxx,.com.cn/wps/myPortal/.cmd/cs/.ce/155/.s/322/.7/1", 
"Snapshot=t6.inf", 
"Mode=sHTTP", 
"Body=userid=CSTCO01&userpassword=CSTCSEI&servleturl=%2Fmain.jsp&reloginservleturl=%2F1og- 
in.jsp&usermame=-&systemname=%E4%6B89%AD9%E79609F%B39%6E59%08CY%096%6E52%6B7”%A5Y0E7%6AS%8B 
9%6ES9%BBo9%BA9%E8%AE9%OBE%E49%6BFooA19%0E69%08190AF9%0E796AE9%0A196E79%090908696E790B390BB9%E 
7T%BB%IFR&sub system code=&sub system name=&sdet lang=zh", 
LAST); 


。 ”真实 业务 测试 环境 : 案例 “项 目 管理 ”最 大 并 发 用 户 数 未 达到 50， 报错 如 下 。 


Actionl.c(269):Error -26627: HTTP Status-Code=404 (Not Found) for "http://ecims.xxxx,com.cn 
jmyPortay.cmd/cs/,ce/155/.s/322/.r/1"” 〈《 请 求 的 资源 未 找到 )。 
web submit data("j_security_check", 
"Action=http://ecims.xxxx.com.cn/]_security_check", 
"Method=POST”, 
"RecContentType=text/html", 
"Referer=http://ecims.xxxx,.com.cn/ssoBody.jsp", 
"Mode=HTTP", 
ITEMDATA， 
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"Name=j usemame", "Value=CSTC01", ENDITEM, 
"Name=j_password", "Value=CSTCSEI", ENDITEM, 
LAST); 


Actionl.c(74):Error -26612: HTTP Status-Code=500 (Internal Server Error) for "http://ecims.sin- 
opec.com.cn/serviet/xxx.com.8auss0.SSO_USER LOGON'" 〔 服 务 器 响应 错误 )。 
web_submit_data("xxx.com.ausso.SSO_USER_LOGON", : 
"Action=http://ecims.xxxx.com.cn/servlet/xxx.com.ausso.SSO_ USER_LOGON,, 
"Method=POST ，- 
"RecContentType=text/html", 


"Referer=http://ecims.xxxx.com.cn/wps/myPortal/.cmd/cs/ .ce/155/.s/322/.7/1", 
"Snapshot=t24.inf", 
"Mode=HTTP", 
ITEMDATA, 
"Name=userid", "Value=CSTC01", ENDITEM, 
"Name=userpassword", "Value=CSTCSEI", ENDITEM, 
"Name=servletur]l", "Value=/main.jsp", ENDITEM, 
"Name=reloginserv]jeturl", "Value=/login.jsp", ENDITEM, 
"Name=usermame" "Value=-", ENDITEM, 
"Name=systemname", "Value=** 丰 相 丰 中 四 由 不 由 9" ENDITEM, 
"Name=sub_system code", "Value=", ENDITEM, 
"Name=sub_system_ name", "Value=", ENDITEM, 
"Name=sdet lang", "Value=zh", ENDITEM, 
LAST)， 


Actionl.c(196): Error -26612: HTTP Status-Code=500 (Internal Server Error) for "http://ecims.x- 
xxx.com.cn/serviet/ECIMS.DT.BusinessProcess.COM_NEED DO_process" (服务 器 响应 错误 )。 

web _ custom_request("ECIMS.DT.BusinessProcess.COM_NEED_DO_process ， 

"URL=http://ecims.xxxx.com.cn/servlet/ECIMS.DT.BusinessProcess.COM_NEED DO process", 

"Method=POST", 

"Resource=0", 

"RecContentType=text/html", 

"Referer=http://ecims.xxxx.com.cn/servlet/xxx.com.ausso.SSO_USER LOGON,, 

"Snapshot=t9,inf ， 

"Mode=HTTP", 

"Body=date=&where=+and+need type+int%28%27%CF%BS%CD%B3%DO%BA%CS8WEBYW%27IW2C 
9%279%6B99%6A49%D7256F7%C8%D59%0B39%CC9%279%629+and+statust%3D+9%027%B4%6FD%B490A6%C0%ED 
%27+and+substr%28alert begin%2C1%2C10%29%3C%3D%272004-05-14%27+and+SUBSTR%28ALERT_ 
end%2C1%2C10%29%3E%3D%272004-05-14%27+and+EMP_ID+%3D%27CSTC01%27+ordertby+ALE_ 
RT_BEGIN&act type=select&userid=CSTCOl&servleturl=%2Fhr%2Fcom neecd do_db _redirect_main.jsp& 
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StartRow=0&RowPerPage=30000", 
LAST), 


。 ”真实 业务 测试 环境 案例 “工作 记事 ”， 最 大 并 发 用 户 数 未 达到 50， 报 错 如 下 。 


Actionl1.c(43):Error -26612: HTTP Status-Code=500 (Internal Server Error) for "http://ecims.xx- 
xx.com.cn/servlet/xxx.com.auss0,SSO_USER LOGON" ‘(服务 器 响应 错误 )。 
web submit data("xxx.com.ausso.SSO USER LOGON", 
"Action=http://ecims.xxxx.com.cn/servlet/xxx.com.ausso.SSO_ USER LOGON", 
"Method=POsT ， 
"RecContentType=text/html", 


"Referer=http://ecims.xxxx.com.cn/wps/myPortal/,cmd/cs/.ce/155/.s/322/.7/1", 
"Snapshot=t6,inf ， 
"Mode=HTTP", 
ITEMDATA， 
"Name=userid", "Value=CSTC01", ENDITEM, 
"Name=userpassword", "Value=CSTCSEI, ENDITEM, 
"Name=servleturl", "Value=/main.jsp", ENDITEM, 
"Name=reloginservletur}l", "Value=/login.jsp’, ENDITEM, 
"Name=usemame", "Value=-", ENDITEM, 
"Name=systemname", MTVBlue 一 中 中 由 让 由 中 让 让 由 由 让 让 0 FENDITEM, 
"Name=sub system_code", "Value=", ENDITEM, 
"Name=sub system name", "Value=", ENDITEM, 
"Name=sdet lang", "Value=zh", ENDITEM, 
LAST); 


Actionl.c(242):Error -26627: HTTP Status-Code=404 (Not Found) for "http://ecims.xxxx.com.cn 
/myPortal.cemd/cs/.ce/155/,.s/322/.r/1"” 《请 求 的 资源 未 找到 )。 
web submit data(") security_check", 
"Action=http://ecims.xxxx.com.cn/ security ， check", 
"Method=POST", 
"RecContentType=text/html ， 
"Referer=http://ecims.xxxx.CcomucryssoOBodyjsp ， 
"Mode=HTTP", 
ITEMDAIA， 
"Name=j usemame"，Value=CSTC01 ENDIIEM， 
"Name=j password" "Value=CSTCSEI ,ENDIIEM， 
LAST); : 


“ Actionl.c(393):Error -26612: HTTP Status-Code=500 (Internal Server Error) for "http://ecims.x- 
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xxx.conuen/serviet/ECIMS.DT.BusinessProcess.COM _ NEED DO process?userid=CSTCOl1&user-name=— 
CSTCOli&systemname=% C8%DS%B3%AI%BOWEC%BINWABGsub_ system_code=hr&sub_system_ 
name=%B9%A4W%DTWHFIWBCH%CINWCAW%CIRsdet lang=zh&data range=OWNER&date=2004-05- 
09&where=>+andtneed type+2963D+962796B9960A49%0D720F72%BC%C790CA9%oC29%027+38nd+substr%o 
28alert begin%2C1%2C10%29%3C%3D%272004-05-09%27+and+SUBSTR%28ALERT end%2C1% 
2C10%29%3E%3D%272004-05-09%27-+0rdertby+ALERT BEGIN&act type=jsselect&userid=CST 
COl&servieturi=%2Fhre2Fcom_need_do js_redirectjsp&StartRow=0&RowPerPage=30000"( 服 务 器 
响应 错误 )。 
web_url("ECIMS.DT.BusinessProcess.COM_ NEED DO process 2", 
"URL=http://ecims.xxxx.com.cn/servleW/ECIMS.DT.BusinessProcess.COM_NEED_DO_process?userid 
=CSTCOl&usermmame=CSTCOl&systemname=%C8%DS%B3%A3%BO%EC%BI%ABRsub system_code= 
hr&sub system_name=%B99%6A4%D7%F7%BC%C7%CA%C2&sdet_ lang=zh&data_ range=OWNER&date 
=2004-05-09&where=t+and+need type+%3D+%27%B9%A4%D7%F7%BC%C7%CA%C2%27+and+substr 
%28alert begin%2C1%2C10%29%3C%3D%272004-05-09%27+and+SUBSTR%28ALERT _end%2C1%2C10 
%29963E%3D%272004-05-09%27+ordertby+ALERT_BEGIN&act_type=jsselect&userid=CSTC01&servie- 
turl=%2Fhr%2Fecom_ need do js_redirectjsp&StartRow=0&RowPerPage=30000 ， 加 
"Resource=0", 
"RecContentType=text/html", 
"Referer=http://ecims.xxxx.com.cn/hr/com_need_do js_choose.jsp", 
"Snapshot=t14.inf", z 
"Mode=HTTP", 
LAST); 
(2) 响应 时 间 
。 对比 测 试 环境 1 和 对 比 测试 环境 2。 
QW 案例 “制度 文档 ”, 检查 点 “信息 上 传 ” 占 总 啊 应 时 间 (包括 检查 点 “查询 所 有 ”、 
“信息 上 传人 “文件 下 载 ”) 的 60%， 约 为 60s。 
四 案例 “项 目 管理 ” 检查 点 “新 增 项 目 ” 占 总 响应 时 间 〈 包 括 检查 点 “项 目 选择 ”、 
“新 增 项 目 、“ 条 件 查 询 ”") 的 65%， 约 为 68s。 
@ 案例 “工作 记事 ”， 检查 点 “新 增 记事 ” 占 总 响应 时 间 (包括 检查 点 “条 件 查 
询 ” “新 增 记事 ”) 的 70%， 约 为 35s。 
。 ”业务 操作 环境 。 | 
下 面 以 业务 操作 机 房 环 境 “ 项 目 管理 ”为 例 ， 进 行 页 面 组 件 明细 分 析 。 
(D 页 面 组 件 唤 应 时 间 ， 如 图 20-10 和 图 20-11 所 示 。 
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图 20.10 页面 组 件 响应 时 间 ] 1 


Culor Measureimert Mn, Ave. 


ecims,s.../Portal/ .cmd/li (main URL):vuser init Transaction | 
ecims,s,../Portal/ .cmd/li (main URL) | 


| 
ecims....om.cn/wps/Portal (main URL):vuser init_Transaction -> 
1 座 
| ecims....om.cn/wps/Portal (main URL) 


lecims,.si...E INFO process (main URL):Actionl_Transaction ->| 
项 目 选择 -> ecims.si...E_INFO_process (main URL) 


|ecims.si..SSO_USER LOGON(mainURL):Action!l_Trapsaction 
-> 进入 业务 系统 -> ecims.si...SSO_USER_LOGON (main URL) 


图 20-11 页面 组 件 响 应 时 间 ] 
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Ee 光 拉 ， > > web- eonctmrent ng Aetonl 9082 


web concurent_end_Action1_128:Action1_Transaction -> 进入 
业务 系统 -> web_concurrent_end_Action] 128 


ecims.si...info input.jsp (main URL):Actionl_Transaction -> 新 
增 项 目 -> ecims.si...info_input.jsp (main URL) 


ecims.X X X X.../322/.W1 (main URL):Actionl Transaction -> 
进入 业务 系统 -> ecims.X X X X,../322/.m1 (main URL) 


ee de ee 出。 加 下 Wanl mm Game 虽 mm alimama 一- 本 血 


间 i etiiha. Si 流 oii i RA ahead me ee 


四 增 项 目 > > > ecimsisi. 外 Re (main OR 


A 机 EP 


图 20-11 〈 续 ) 
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页 面 组 件 响应 时 间 明 细 ， 如 图 20-12 和 如 图 20-13 所 示 。 


TO LT i -Be re a 
EF 一 一 


=-" — 


Wh ri 


Pa mw 总 二 Timo 和 (mi mm ee 


er 
在 4 i | 


0000 0030 01:00 Of30 0200 0230 0D O930 Defo 0430 0500 pe ea 
Elapsed ceenorie timo mn: 


Pp EY A ts i 二 本 pe 志和 mm 四 


和 re 
i 
| 
1 


上 re i 
: 
E 和 
a 


图 20-12 页 面 组 件 网 应 时 间 明 细 


人 人 eile 和 Te TIN， Max, S|) 


1 |ecims.s../Portal cmdni (main URL).[Receive] |57.124|57.124|57.124| 0 


1 |ecims....om.cn/wps/Portal (main URL).[Receive] 55.729 | 55.729 | 55.729| 0 


L 


380.USER LOGON (main URLLFimt 12.8, 14917| 5 天 5 二 244， 


| anasisE_INFO_pmcess (mmainURE) {Firet Bufed | 0424.| 14.227 | 29.119 | nl29| 


a6.. /Portal/ cndli main URL)TRiRLBUEH | 5726 二 5726| 3726 | 0 
图 20-13 ”页 面 组 作 响 应 时 间 明 细 1 
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8 3975 | 2761 


了 ecm oe. putlap tnain UREJ TPinet Bufier] 让 | rr | 


1 jweb: concurent end Action! 128.[First Buffer) | 3.126 .| 3.957 .| 0.758: 


| 1 web_concurrent_end_Action]_2380.[First Buffer] 


| lecims-sino. AS _JINFO_procegs 《niain RDHEid 0203 3.08: | 5:54: | 1.90 


1 > | eoihs 本 ER URL).{First Buffer] 


ecims. X X X X.,../322/.r/1 i URL). [Receive] 


web_concurrent_end_Actionl 128.[Receive] 1.929 | 0.794 


ecims.si...SSO_USER LOGON (main URL).[Receive]|j 0.129 


图 20-13 ( 续 ) 
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@ 页 面 组件 Web 服 务 器 响应 时 间 与 网 络 传 输 延 迟 ， 如 图 20-14 和 如 图 20-15 所 示 。 


9 et 和 ET 
图 20-14 ”页面 组 件 Web 服务 器 响应 时 间 与 网 络 传输 延迟 1 


Color Seaule 所 TEST Nin. AV, NI. |) 


1 lecims.si...SSO USER LOGON (main URL),[Server] | 12.617 | 14.352 | 15.822 | 1.322 


1 lecims.si..E_INFO _process (main URL).[Server] | 0.111 | 14.154 | 28.951 li1.075 
] | 

1 |ecims.si...P INFO process (main URL),[Server] 4.987 | 5.693 | 6.162 |0.s08| 
| | 

] lecims.s.../Portal/.cmd/li (main URL).[Server] 5.63l | 5.631 | 5.631 | 0 
| 

| lecims.si... doc input.jsp (main URL).[Server] 1].485 | 4.173 | 7.956 | 2753 


1 lecims.sino...ASE INFO process (main URL).[Server]| 0.202 | 3.008 | 5.538 | 1.923 
20-15 ”页 面 组 件 Web 服务 器 响应 时 间 与 网 络 传输 延迟 I 
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ecims.si...t_redirect.jsp (main URL).[Server] 2.955 | 3.223 |0.191 


Web_concurrent_ end_Action1_128.[Server] 2.856 | 3.414 10.648 


Cy 


2.756 | 3.874 | 1.259 


web_concurrent_end_Action1_2380,[Server] 


bb 


web_concurrent end_Action! 982.[Server] 2.626 | 3.845 10.917 
ee | 2.351 | 4.85 | 1.983 
ecims.si...info_input.jsp (main URL).[Server] 1.608 | 2.177 |0.729 
mae hennel lp (main URL).[Server] WD 2.21 |10.756 
ecims.si...EED_DO process (main URL).Server) | 过 全 1.992 Oe 
eclms....n/inputcheck.htc (main URL).[Server] z 0.602 1.805 |0.851 
ecims....n/lang/zh_hr.xml (main URL).[Server] : 0.542 1.626 |0.767 
ecims.X X XX.../322/.r/1 (main URL).[Server] : 0.475 0.598 |0.109 


web_concurrent_end_Action1_3384.[Server] 0.403 | 1.208 |0.569 


喇 0 Ne 
| om 02 
和 有 Ne 


上 
es 
~ ol 


图 20-15 ( 续 ) 
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页 面 组 件 容量 ， 如 图 20-16 和 如 图 20-17 所 示 。 


i 


Cypal 
W037 % of 1 0% 080): 


To1 HL 
| | 5 


自生 全 让 NM 


A 


图 20-16 ”页面 组 件 容量 1 


Graph Graph Graph Graph Craph 


Color Sea Neasurenment ; 
Miin. We， 1  %1) 


ims.si...P_INFO _process (main URL) 248.997 |248.997| 248.997 D48.99 


yeb concurrent_ en 


图 20-17 页 面 组 件 容 重 J 
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1 lecims....n/lang/zh_pr.xmi (main URL) 43.028 |43.028 | 43.028 143.028 


0 


2 


EE 


ppp 


ee 


32.445| 32 


ph pr he 入 ， ~ Te er Mmm 
i hp Hm we ， | Dy 
i br 四 ee 和 
ab 人 
kh 


ecims....es/xmglxt004 0.053 


es 


和 
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ns....minputcheck.htc (main URL) 15.348 |15.348| 15.348 |15.348| 0 


的 


站 二 


cims,../ 


a 
ee 


scims... images/title.gif (main URL) 


.Iweb_concurrent_en ction 7.076 


6.646 | 6.646 | 6.646 


图 20-17 ( 续 ) 


注 ; 其 他 案例 页 面 组件 分 析 见 原始 测试 数据 (利用 Loadrunner 测 试 分 析 器 查看 ， 本 
书 略 )。 

(3) 资源 占用 

se ”Portal 服务 器 。 

@ CPU: 对 比 测试 环境 1 和 对 比 测 试 环 境 2， 平 均值 接近 90%， 了 最 大 值 达到 100%， 最 
大 值 持续 时 间 约 占 整 个 测试 时 间 的 30%;， 业务 测试 环境 ，CPU 占 用 率 频 繁 达到 100%。 

加 内 存 ; 使 用 正常 ， 虚 拟 内 存 使 用 和 量 较 少 。 

@ 硬盘 ;， 使 用 正常 。 
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。 CM 服务 器 。 

Q@ CPU: 对 比 测 试 环境 1 和 对 比 测试 环境 2， 较 空闲 ， 平均 值 未 达到 596， 最 大 值 接 
近 10%; 业务 测试 环境 ,“ 登 录 ” 操 作 期 间 CPU 占 用 率 持续 达到 100%。 

@ 内 存 ， 使 用 正常 ， 虚 拟 内 存 使 用 量 较 少 。 

@ 硬盘 : 使 用 正常 。 

。 DB2 资源 。 

Portal DB2 7.2 有 失败 SQL 调 用 ; 锁 数目 最 大 值 达 到 150, 等 待 处 理 的 代理 数目 的 最 大 
值 达到 1.8， 没 有 锁 超 时 现象 ，pool 指 标 值 全 部 为 零 ， 动 态 sql 请 求 最 大 值 为 33237， 静 态 
sql 请 求 最 大 值 为 1828。 

CM DB2 8.1 各 项 监控 指标 正常 。 

e “Websphere 资源 。 

人 非法 Session 最 大 值 达到 约 850 (包括 以 数据 库 模式 调用 的 session); 

@ 等 待 锁 的 请 求 数 最 大 值 达到 301590， 锁 等 待 的 最 大 平均 时 间 为 10s; 

@@) 同步 请 求 数 在 机 房 环境 下 最 大 值 达 到 约 为 135;， 同步 请 求 数 在 局 域 网 环境 下 最 大 
值 达到 约 为 35， 此 和 值 建议 提高 为 50;， 请 求 的 响应 时 间 建 议 低 于 3s; 

@ JVM 内 存 使 用 情况 合理 ， 约 占 150MB， 属 合理 使 用 范围 (占用 率 达 到 50% )。 

2， 广 域 网 结果 分 析 

(1) 交易 响应 时 间 对 比 

QD 数据 。 

27 表 示 机 房 局 域 网 ，28 表 示 A 广 域 网 。 表 20-35 所 示 为 交易 响应 时 间 对 比 。 


家 20-35 ”交易 响应 时 间 对 比 
Transaction Name | Max27 | Max28 | 2M27 | 2M28 | 512K27 | S12K28 | 56K27 | S6K(S*D28 


Action Transaction | 192.135 | 408.91 | 151.545 | 213.596 | 184.59 |205.364 1745.079 | 135.05 
Aotionl_ Transaction | 163.269 | 673.091 | 124.848 | 375.883 | 159.383 | 295.568 | 283.232| — 255.62 
wser end Trnsavion 0 | 0 | 0 | | 0 | 0 | | 5 
wuser init Transaction| 197.123 | 472.334 | 191.468 | 206.14 | 187.796 | 2311.373| 30134 | 125.318 
文件 下 各 36941 | 7478 | 28641 | 66.12 | 50031 | 61382 | 83.111 | 63.051 
新 增 上 传 文件 | 33.585 | 167.557| 23.445 | 81.313 | 32.962 | 79.519 |101.321| 59.046 
新 总 信息 上 传 | 18.226 149827| 14.85 | 68.303 | 21.323 | 42814 | 57.005 | 60454 
YE | 32.54 | 3 | 25155 | 35.00 | 38226 | 28054 | 327164 37.56 
TE -al [388.056 | 47363 | M431 [67699 | 119384 154.308 | 152.515 
条 件 查 油 2885 | 5276 | 3209 | 6951 | 2544 | si64 | 4261 | 6 
查询 全 部 保 团 | 9785 | 5423 | 8067 | 21.612 | 8098 | 32.527 | 31518 | 25.735 
所有 全 8551 65.41 | 6368 | 30808 | 9207 | 28314 | 23206 | 024 
AR 。 | 294 | 20024427 | 14599 13 66.614 
进入 业务 系统 | 41.024 285.463 | 31.359 | 146348| 31.712 | 91.763 | 58.04 | 63975 
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z 续 下 
Transaction Name | Max27 | Max28 | 2M27 | 2M28 | S12K27 | S12K28 | S6K27 | S6K(S*1)28 

进入 工作 记事 _ 34.63 | 57.701 | 33.312 | 15.316 | 42.415 | 32.093 | 219.841 | 18.051 
进入 日 常 办 公 1001 | 1 | 100 | 100 | 1.002 | 1.001 | 1.001 | 107 
进入 系统 管理 13.194 | 76.386 | 9.935 | 43.588 | 14.687 | 39.13 | 26.27 | 31.068 
选择 日 其 35.081 | 16.633 | 24.451 | 10.19 | 34.778 | 19.599 | 212.601 | 12.691 
项 目 查询 ll.! |26.369 | 4946 | 13.665 | 8.546 | 16.148 | 18.654 | 17.152 
项 目 选 择 25.608 | 75.232 | 23.931 | 38.138 | 30.097 | 42.924 | 35.786 | 36.202 


四 结论 。 
对 比 局 域 网 和 广域网 交易 平均 响应 时 间 ， 同 一 交易 在 相同 带宽 下 ， 广 域 网 测试 环境 
下 的 响应 时 间 ， 都 比 局 域 网 测试 环境 下 的 响应 时 间 长 ， 哆 应 时 间 差 见 表 20-36。 
并 发 执行 报错 主要 包括 : 网 络 传输 错误 、 请 求 超 时 错误 以 及 服务 器 响应 错误 。 
表 20-36 交易 响应 时 间 差 对 比 


案例 
登录 (init_ Transactlon) | 交易 1(Aetionl Transaction) | 交易 2(Actionl Transaction) 
了 响应 时 间 差 
不 限 带 宽 509.822s 
2Mb 带 宽 | 14673s | 620ls | 251.035s 
512Kb 带 帘 136.1858 


(2) 应 用 网 络 故 障 定位 

。 ”应 用 网 络 处 理 时 间 分 析 (Performance Overview 和 CNS Breakdown)。 

Q 数据 。 

Node( Portal 服 务 器 ): Processing 94.745 sec, 占 16.2%; Sending 486.735 sec, 占 83.22%。 
如 图 20-18 所 示 为 性 能 总 览 ， 如 图 20-19 所 示 为 CNS 分 解 图 。 


bi 
对 过世 了 
~ 


bh F 了 HH | | 四 和 | | 
0 多 三 委 罗 胃 十 可 而 前 委 和 大 而 而 月 喇 本 名 可取 
' Wr i te tr don FL l 
Un "Wem | 


ines md i pn 0 OD matedre - : : 


图 20-18 性 能 总 览 
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@ 结论 。 从 如 图 20-18 和 如 图 20-19 所 示 可 知 ， 广 域 网 环境 中 网 络 传输 时 间 所 占 比 
例 较 高 ，Portal 服务 器 发 出 的 数据 ， 在 广域网 络 上 的 传输 时 间 ， 相 对 服务 器 本 身 处 理 时 
间 要 上 长。 网络 带宽 的 影响 和 其 他 应 用 程序 争 用 带宽 的 影响 不 是 主导 因素 。 因 而 ， 重 点 考 
察 Portal 服务 器 的 网 络 发 送 时 间 。 


" " rr rp | » bE er i 过 ' rr- h 
和 8 和 这 i 总 a, 这 Six 


CNS Breakdown: unlimited_iiu-R a | carn ne $9407 e000nas 
020% 8 2 


图 20-19 CNS 分 解 图 


。 节点 传输 分 析 (Node Sending Details) 
QD 数据 。 如 图 20-20 所 示 。 
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gr.t" Firm lt “1 J | 人 spp pt pi ph 1 1 
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图 20-20 ”节点 传输 分 析 
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@ 结论 。 从 如 图 20-20 所 示 ，Portal 服 务 器 发 出 的 数据 帧 的 明细 ， 可 见 应 用 数据 在 广 
域 网 上 存在 很 多 帧 丢失 和 TCP 重 传 的 现象 。(Error: Frame only seen on sending side. 
prossibly lost by network; TCP Retransmission of earlier frame xxxx)。 通 过 分 析 数 据 中 的 
TCP ACK 帜 ， 可 知 TCP 重 传 不 是 由 客户 端 接收 缓存 满 ， 而 不 能 及 时 接收 数据 造成 的 。 要 
综合 考虑 网 络 品质 问题 和 数据 发 送 端的 有 关 TCP 重 传 参 数 设置 。 

3. 包 跟 踪 分 析 〈PACKET TRACE) 

Q 数据 。 如 图 20-21 所 示 。 
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图 20-21 包 跟 踪 分 析 


@ 结论 。 如 图 20-21 所 示 ， 针 对 起 始 序号 784、 结 尾 序号 973 的 数据 帧 进行 包 跟 踪 分 
析 ， 序 号 784 的 数据 丢失 ,导致 多 次 重 传 ， 序 号 791、819、855、973 均 为 该 数据 帧 的 重 传 
帧 ， 且 重 传 的 延 时 不 断 递 增 〈 重 传 开 始 时 间 间 隅 为 1.407542578sec、3.000778311sec、 
6.001580091sec)。 因 此 造成 应 用 数据 传输 时 间 增 加 。 | 

分 析出 错 重 传 的 数据 帧 ， 发 现 字 节 少 的 帧 (如 60 字 节 的 TCP ACK) 较 少 出 现 丢 失重 
传 ， 字 节 多 的 帧 (如 1514 字 节 的 HTTP[HTTP/1.1 200 OK]) 丢失 重 传 较 多 。 

数据 传输 的 包 大 则 增加 了 帧 的 传输 次 数 ， 同 时 增加 了 出 错 概率 。 

注意 ， 本 结果 是 A 工 作 区 的 测试 机 处 的 探 针 ， 与 总 部 的 路 由 器 后 的 探 针 数据 的 整合 
结果 。 

4. 应 用 网 络 性 能 分 析 

。 ”应 用 程序 会 话 分 析 。 
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Q@ 数据 。 如 表 20-37、 如 图 20-22 所 示 。 
表 20-37 应 用 程序 会 话 往返 行程 


案例 制度 文档 文件 上 传 下 载 刚度 文 档 信息 上 伟 


Portal 服 务 器 到 CM 服 务 器 | 20 | 20 | 2 | 3293 


负载 生成 器 到 Ponal 服 务 器 | 38 | % | io | us 


Apuatomiuiptrpmhal : 人 


i ft 


图 20-22 “项 目 管理 ”会 话 往返 行程 


@ 结论 。 

晶 。 表 20-37 是 典型 案例 应 用 程序 会 话 往返 行程 统计 ， 如 图 20-22 所 示 是 案例 “项 
目 管理 ”会 话 往返 行程 测试 数据 。 

图 ”针对 不 同 的 案例 ，Portal 服务 器 到 CM 服务 器 会 话 往返 行程 基本 保持 一 致 ， 可 
以 看 到 系统 应 用 会 话 模式 基本 一 致 ， 有 利于 系统 维护 。 

国 负载 生成 器 到 Portal 服务 器 运行 在 广域网 环境 下 ， 往 返 行程 次 数 越 多 ， 受 网 络 
品质 、 网 络 延 迟 影响 越 大 。 例 如 ,“ 项 目 管理 ”案例 达到 138 次 。 

@) 建议 。 建 议 降 低 负 载 生 成 器 到 Portal 服 务 器 的 往返 行程 次 数 。 

图 ”应 用 程序 线程 分 析 。 

0 0 

以 案例 “项 目 管理 ”为 例 进行 线程 分 析 。 
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如 图 20-23 所 示 是 运行 案例 “项 目 管理 ”线程 性 能 数据 。 

如 图 20-24 所 示 是 线程 之 间 gap 达到 3 秒 〈48.4 一 45.6) 的 线程 。 
如 图 20-25 所 示 是 线程 与 会 话 〈bounce) 之 间 的 关系 。 

如 图 20-26 所 示 是 线程 与 包 (packet) 之 间 的 关系 。 

如 表 20-38 所 示 是 往返 行程 最 大 的 三 个 线程 。 

如 表 20-39 所 示 是 往返 行程 最 大 的 三 个 线程 的 主要 性 能 数据 。 
如 表 20-40 所 示 是 线程 之 间 gap 达到 3 秒 。 

如 表 20-41 所 示 是 线程 的 请 求 与 回应 。 


"i i Wn wp 


和 #0, Ein 1 


|[#5,380940314-45.572764414] (47460 bytas in 49 framas;avg= ?209.0) 
IHTTP:[GET isnojzh pr .wmd HTTPNI .1] 


' [48.397609472-49,903037139] (36139 bytos mn 37 frames 
HTTP:[POST fserviotfECIMS DT Bienessprocess.y, 


图 20-24 ”线程 之 间 gap 达到 3 秒 (48.4 一 45.6) 的 线程 
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村 | 


i De ph 


tw 814 0000 
1 SS 0000 
HTTP ET AnpaMheneb im en Aa/ SactHTTP 1 ec opope 19132117 1D4203643 
HTTP KGET Apu /ammos id/ ror S bes Crs HITPAY 1] | 
HTTP EOET Apa aoc gi HTTPA 1 ocers rope 10132341.17 HMOMT 
MTTP EET PE YE | ecm epropse tO 231,17 56199472 
| ecims mcm 10 1 3234 1,17 M7TI 
MITP EY oma se/PS PA TIC ri dt Ct HIT 1 ecm rope 101 234 1.17 JS 
| eums cfhope 101 32% 1.17 E73N I27 
NIIP ET Noo/pemoo tra mete oF HESPA 1 owe wope 401 3254 1,17 W7465 
MIIP GET /rpe wps PA I om wd HIP ctre rope 101 32341: 17 WIA 2 


Sg 本 和 人 rs 
i a na re rd 


aa, Fer 


1 ape | on Eee ede ET 
图 20-25 ”线程 与 会 话 (bounce) 之 间 的 关系 


a Trt tre mney Benen 


1% Be DR Ye bes th boot tn Uh 
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| ET TCA: I 习 [XT: 


ET 
和 MET rE MTP Pen 
UL A TL 77 一 | 
Om 


re. chs Memec Con MITP RET Ampa/poag ttTpAT) i Te , .ODLST2 
3 em treoac oom 11 3234 MITPHHTIIPAT WOR Lb ad 和 O049237 
S14 econs snopec cam 121 254 HIIPEReEN Cita 8 Qs12047] re 
区 和 ce snc eon C31 F234 HTP ED Corcmaaaaorg ec re 
ems bnaper cam 191 A234 MI Te 让 Centre 有 QC SPWT0S4 | . 
cdbbed GCmt op Can PCP Ach Saal TAF SD cAN ICTI WR BA .Conorcsal:: 3 
加 1013234 0 Dec Cm CP Ach Sol 01D05O AcRN $FIWAT Wn $420 O00776SaA 
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0 octrs eropec com 191 234 NTTP EARenly Cortraattrd | 
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图 20-26 ”线程 与 包 (packet) 之 间 的 关系 
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sa 20-38 往返 行程 最 大 的 三 个 线程 


Frames/A pp. Turn 


HTTP:[GET/ HTTPILU | HTTP | | 493 | 2.5 


HTTP:[GET /wps/Portal 
HTTP 39291 62 
HTITP/1.1] 


mn nme 


TCP: 54760<->50000 [二 | 二 一 17833 | 3. 


ecimi tnopec canent0 "101. 241242 9 


a -=n 

| HTTPIGET /HTTPN.I] 一 0000000000 000413130 5 1970 
| “HTTPIGET ApupotadHTTPA 订 ”|ecmaunopeccmen 扣 1i013294122 060047612: 17.320785464 2291 忆 60 
| TCF re0c > 0000 ia13a0900m sor nopec con orSA760 ， Qnann.17 205281117 224650 m0 5760 
和 画 二 而 本 本 rh TIE P| 和 重重 Tar 的， i A 下 FE -TE EW 


表 20-40 人 gap 达到 3 秒 


ey 
re et en a ee ee 


@ 结论 。 

国 ”家 20-38 中 列举 了 应 用 往返 行程 (App. Tums) 最 大 的 三 个 线程 ， 这 三 个 线程 受 
网 络 品质 、 网 络 延 迟 影响 最 大 。 

加 表 20-39 中 列举 了 往返 行程 最 大 的 三 个 线程 主要 性 能 数据 ， 其 中 线程 
“HTTP:[GET /wps/Portal HTTP/1.1] ”与 “TCP: 54760<->50000” 的 持续 时 间 最 
长 ， 并 且 线 程 “TCP: 54760<->50000” 发 出 和 接收 的 字 节 数 和 申 数 最 大 。 

加 ”如 图 20-24 及 表 20-40 中 显示 了 线程 之 间 系 统 间 时 (gap) 达到 3 秒 ， 可 见 系统 
空闲 时 间 在 控制 范围 之 内 ， 基 本 可 以 接收 。 

国 ”家 20-41 显示 了 线程 的 请 求 与 回应 ， 线 程 的 请 求 与 回应 基本 在 1 秒 钟 之 内 ， 但 
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也 有 约 3 秒 钟 的 响应 时 间 ， 例 如 表 20-41 所 示 。. 

图 ”本 案例 中 不 存在 相同 的 请 求 再 次 发 出 的 现象 。 

四 如 图 20-25 和 图 20-26 线程 与 会 话 (bounce) 以 及 包 (packet) 之 间 的 关系 ， 包 
之 间 的 相对 时 间 (relative time) 决定 了 包 传 输 的 效率 。 

@ 建议 。 对 关键 线程 进行 相关 调 优 ， 有 必要 参考 包 数 据 。 

注意 ， 其 他 案例 数据 见 测试 原始 数据 。 

。 ”响应 时 间 分 析 。 

Q@ 数据 。 以 案例 “项 目 管理 ” en 其 他 案例 柱状 图 趋势 与 此 

相同 。 

如 图 20-27 所 示 是 运行 案例 “项 目 管理 ”响应 时 间 性 能 数据 。 

国 10.1.3.234: 表 示 客 户 端 与 Portal 服务 器 会 话 响应 时 间 ; 

和 10.1.3.10: 表示 CM 服务 器 (起 始点 ) 与 Portal 服务 器 (终止 点 ) 会 话 响应 时 间 ; 

国 ”ecims.xxxx: 表示 Portal 服务 器 (起 始点 ) 与 CM 服务 器 (2 终止 把 ) 会 话 响应 
es 


PT 


Qtyte0. | 
es | 


”有 二 mao 
ce 
9 


1 四 ee 是 4 
| 1 国 4otzte 

用 46870660c，， 
办， ;} 


芒 Po: » 
pr 


| i 
Dei - 
rt 


图 20-27 ”运行 案例 “项 目 管理 ”响应 时 间 人 性 能 数据 


@ 结论 。Portal 服 务 器 与 CM 服务 器 通信 双向 性 清晰 。 

注意 ， 其 他 案例 数据 见 测试 原始 数据 。 

。 ”交易 峰值 分 析 。 

(D 数据 。- 以 案例 “项 目 管理 ”为 例 进行 交易 峰值 分 析 。 数据 如 图 20-28 和 表 20-42 所 示 。 
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| 由 
上 DR 
PLD 


=” 证 
| 
本 


i 


和 i 暂 各 于 闪 面 ，” 柯 古 “可 氨 


; 让 


图 20-28 案例 “项 目 管理 ”交易 峰值 性 能 数据 


表 20-42 交易 峰值 对 应 的 相关 线程 


Name s| Start Time |Duration By | Frames orn. Bytes/App. | Frames/ 
Turn App. Turn 

HTTP:[GET 
/channel/images/inner. 39., | 0. 19883 2376 2,376,.00000 | 3.00000 
gif HTTP/].1] 
HTTP:[GET 
/channel/images/g02.gif 39， 1615300| 0.00322 1,631.00000 | 2.00000 
HTTP/1.1] 
HTTP:[GET ] 
/channel/config/channel, 39.1577812 | 0.00346 | 3158 HTTP | 3,158.00000 | 4.00000 
xml HTTP/].1] | | 


HTTP:[GET 

/channel/config/ , 

deeptreeconfig.xml | 39.1541629 | 0.00322 | 1527 | 1,527.00000 | 2.00000 
HTTP/1.1] 


HTTP:[GET 
/channeVconfig/deeptree. 39.1492933 | 0.00440 |8774| 10 . | HTTP | 8,774.00000 | 10.00000 
xsl HTTP/1.1] 


HTTP:IGET 3587 

/channel/config/deeptree. | 39,141 1981 | 0.00787 6 P |35,876.00000| 35.00000 
htc HTTP/].1] | 

HTTP:[GET /css.css | 1063 : 
HTTP/1.1] 1 391348691 1348691 | 0.12901 mr 10,638.00000| 12.00000 z 


HTTP:[GET too 
/channel/config/deeptree. 39.1348040 | 0.00620 | 10,678.00000| 11.00000 
css HTTP/1.1] | 
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Name 


HTTP:[POST 
/channel/sele_channel. 
jsp HTTP/1.1 
HTTP:[GET 

/lang/zh pr.xml 


HTTP/L.1] 


HTTP:[GET 
/lang/zh_com.xml 


HTTP/1.1] 


HTTP:[POST 

jpwpr proj info doc 
input.jsp HTTP/1.1] 
HTTIP:{GET 
/images/list.gif 
HTTP/1.1) 
HTTP:[GET 
/images/open.gif 


HTTP/i.]] 


HTTP:[GET 
/images/fold.gif 


HTTP/1.1] 


HTTP:[GET 
/lang/zh_hr.xml 


HTTP/1.1] 


HTTP:[GET 
/lang/zh_com.xml 

. HTTP/1.1} 
HTTP:[GET 
| 


HTTP/1.1] 


HTTP:[GET 
/is/prog/treetrue.js 


HTTP/1.1] 


HTIP:[GET 
/imagesmenu00S.BEif 
HTTP/1,1] 
HTTP:[GET 
/images/title.gf 


HITP/1 .1 


36.9918668 | 0.00552 
各 23.4434742 | 0.19843 


区 23.4395601 | 0.00365 
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HH 


HTTP 


HTTP 
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Frames/ 


App. Turn 


25.00000 


47.00000 


3.00000 
2.00000 
2.00000 
25.00000 
4.00000 
9.00000 
13.00000 


3.00000 


11.00000 
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续 表 


加 A 站 | | Bytes : A 四 

: Name | PP Start Time | Duration | Bytes | Frames |Protocol 人 

sp | Turns | | | | | Tum App. Turn 
HTTP:[GET | | | 
/images/xmglxt004.jpg 23.4343376 | 0.00474 |22499 22,499.00000| 23.00000 
HTTP/1.1] | 


/images/xmglxt001.gif 23.4308327 | 0.00324 | 5520 


HTTP:[GET | 

1images/xmglxt005.jpg 23.4251437 | 0.00547 |20600 
HTTP/1.1] 

HTTP:[GET 
/images/line.gif 23.4222651] 1267 
HTTP/1.1] | 

HTTP:[GET | 

/images/xmglxt002.gif 23.4184719 | 0.00337 | 5712. 
HTTP/1.1] 

HTTP:[GET | ] 
/lang/zh_com.xml 23.4173282 | 0.00085 | 2376 
HTTP1.1] 

HTTP:[GET - | | 
fimages/img002.gif | 23.4140401 1334 
HTTP/1.1] | 


HTTP:[POST 
0.24985 | 


1,334.00000 | 2.00000 


/servlet/ECIMS.DT. 
BusinessProcess.COM_ 
NEED DO process 
HTTP/].]] 


HTTP:[GET . 
/limages/be003.gif 
HTTP/1.1] 
HTTP:[GET 
/images/bg004.Bif 
HTTP/1.1] 
HTTP:[GET 
/inputcheck.htc 
HTTP/1.1) 


23.16306286 2,074.00000 | 5.00000 


23.1463890 | 0.00251 


加 
- 
到 
加 


23.1418750 


17,305.00000| 17.00000 


[ele =p =] 
EE 
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App pp Frames/ 


HTTP:[GET 
/lang/zh_com.xml 0.00290 | 2498 | 4 2,498.0000 
HTTP/1.1] 


4.00000 
HTTP:[GET 
gg EE 1353071 | 0 局 1332 1,332.00000 | 2.00000 
gif HTTP/1.1] 


HTTP:[GET 

/xxxx _CSS.CSS 23.1312876 | 0.00377 11,344.00000 | 11.00000 
HTTP/1.1] 

i 


HTTP:[GET 
/images/arrow lefLgif 23.1282289 1371 1,371.00000 | 3.00000 
HTTP/1.1] 
HTTP:[GET 
/js/otherbottom js 23.1274885 | 0.00345 | 3238 HTT 4.00000 
HTTP/1.1] 
HTTP:[GET 
/images/img001.gif 23.1239716 | 0.00325 | 2468 HTTP 5.00000 
HTTP/1.1] 

ee a | 


HTTP:[GET 

/images/logo gif 23.1183582 | 0.00534 | 7870 7,870.00000 | 8.00000 
HTTP/I.1] 

HTTP:[GET 

fjs/prog/public.js 23.1182782 | 0.00569 HTTP 

HTTP/1.1] 

HTTP:[GET 

/js/other/mode mk.js 23.1110316 | 0.00732 

HTTP/1.1] 

HTTP:[GET 

/isiother/menuctri js 23.1109705 | 0.00711 |20990 20.990.00000| 22.00000 
HTTP/1.1) 

HTTP:[POST 

/servlet/xxx.com.ausso 22.0405258 | 1.06975 |72981 72 981.00000| 84.00000 
.SSO_USER_ LOGON : | 
HTTP/1.1) 


结论 : 
四 ”交易 最 高 峰值 达到 2.4M,1M 以 下 的 峰值 分 布 较 均匀 。 


16.00000 


13.00000 


公 人 ， 
o 心 
全 人 
| 8 


HTTP:[GET 
/main infojsp 23.1239015 | 0.00411 | 4323 
HTTP/1.1] 
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图 ”交易 最 高 峰值 2.4M 所 对 应 的 执行 线程 是 调 优 的 关键 。 

@ 建议 ， 降 低 交 易 最 高 峰值 ， 调 整 这 一 时 刻 某 些 线程 执行 的 起 始 时 间 。 

。 响应 时 间 预 测 分 析 。 

结论 : 以 案例 “项 目 管理 ”为 例 进 行 响应 时 间 预 测 分 析 。 

e。 如 图 20-29 所 示 为 在 56Kb 带宽 上 运行 时 ， 预 测 的 响应 时 间 性 能 数据 。 
e 如 图 20-30 所 示 为 在 512Kb 带宽 上 运行 时 ， 预 测 的 响应 时 间 性 能 数据 。 
e。 如 图 20-31 所 示 为 在 2Mb 带宽 上 运行 时 ， 预 测 的 响应 时 间 性 能 数据 。 
e。 如 图 20-32 所 示 为 在 10Mb 带宽 上 运行 时 ， 预 测 Um EE, 


Er hae” mpd 人 , a 1 ” ed : _ 
厨 1 二 他 | Ot a 5 Bi ET 四 证 半天 Sr 


[| ee 二 2 的 ee ua San 2 Ei 
Tapp Peoptid Perperbe Terr HI ED 加 冲 | 
we : 


Ci | | 坷 而 导 3 


图 20-29 在 56Kb 带宽 上 运行 时 ， 预 测 的 响应 时 间 性 能 数据 
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图 20-30 在 512Kb 带宽 上 运行 时 ， 预 测 的 响应 时 间 性 能 数据 
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图 20-31 在 2Mb 带宽 上 运行 时 ， 预 测 的 响应 时 间 性 能 数据 


FE Urney 
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图 20-32 在 10Mb 带宽 上 运行 时 ， 预 测 的 响应 时 间 性 能 数据 
怖 数据 分 析 。 
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@ 数据 。 以 案例 “项 目 管理 ”、“ 工 作 记事 ”为 例 进行 帧 数据 分 析 : 帧 数据 统计 


如 表 20-43 所 示 。 
囊 20-43 帧 数据 统计 


烦人 一人 大 于 100 并 且 小 于 512 | ”大 于 S12 并 且 小 于 
T(t 4 (人) 


项 目 管理 | 569 | 33 | za 
Ta | mm 


加 结论 : 小 于 100 字 节 和 大 于 1024 字 节 的 帧 占 的 比例 最 高 。 

S$， 网络 品质 监控 

(1) 网 络 流量 分 析 。 

数据 。 

下 述 流 量 分 布 图 ， 分 别 是 在 14:58~15:15、15:41~16:08、16:55~17:16 时 刻 在 A 工作 区 
进行 的 不 限 带 宽 、2Mb 带 宽 和 512Kb 带 宽 的 并 发 压力 测试 , 同时 在 机 房 出 口 和 A 工作 区 出 
口 进行 监测 得 到 的 。 

。 不 限 带 宽 ( 服 务 器 时 间 14:58~15:15)。 其 流量 分 布 如 表 20-44 所 示 。A 工作 区 

流量 分 布 图 如 图 20-33 所 示 ， 机 房 出 口 流 量 分 布 图 如 图 20-34 所 示 。 
中 20-44 不 限 带宽 流量 分 布 


大 于 1024( 字 节 ) 


Cn 机 房 
应 用 流 十 《MB) 1701 
总 注 于 (MB) 966.52 


人 k 6 


Fs 


: 人 i 
as er tt vbs 
Er 


和 A 
uuu du 


AAA 
AAA 


图 20-33 A 工作 区 流量 分 布 图 
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20-34 “机房 出 口 流量 分 布 图 


。 2Mb 带宽 (服务 器 时 间 15:41~16:08)， 其 流量 分 布 如 表 20-45 所 示 ，A 工作 区 
流量 分 布 图 如 图 20-35 所 示 。 


家 20-45 2M 带宽 流量 分 布 


TE 
应 局 流 太 《MB ~ am 
总 流量 (MB ) 178.43 


百分比 18.4% 


， 1 


| 


图 20-35 A 工作 区 流 志 分 布 图 
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。 512Kb 带宽 (服务 器 时 间 16:55~17:16)， 其 流量 分 布 如 家 20.46 所 示 ，A 工作 
区 流量 分 布 图 如 图 20-36 所 示 ， 机 房 出 口 流量 分 布 图 如 图 20-37 所 示 。 
家 20-46 512K 带宽 流量 分 布 


| 一 一 和 一 一 机 房 出 吕 


应 用 流量 (MB) 81.32 
总 流量 《MB) 651.17 
百分比 12.5% 


| © i .1 be | 


h.H Pe 
| Bae | severiorre fp en 


图 20-36 A 工作 区 流 址 分 布 图 


。 机房 出 口 流 重 分 布 图 如 图 20-37 所 示 。 


三 和 


i 


图 20-37 机 房 出 口 流 量 分 布 图 
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从 不 同 带 宽 的 数据 对 比 来 看 ， 随 着 网 络 带宽 的 不 断 减 小 ， 进 行 同样 交易 


所 传输 的 数据 量 有 较 大 的 增长 趋势 。 这 种 现象 说 明 随 着 网 络 带 宽 的 下 降 ， 网 络 重 传 现象 
TO I OS es 

。 “应 用 分 布 分 析 。 

Q@ 数据 ,如 图 20-38、 如 图 20-39、 如 图 20-40 所 示 , 分 别 是 在 14 58~15:15、 15:41~16:08、 
16:55~17:16 时 刻 在 A 工作 区 进行 的 不 限 带宽 、2Mb 带 宽 和 512Kb 带 宽 的 并 发 压力 测试 , 在 
机 房 出 口 处 进行 监测 得 到 的 ， 并 对 机 房 出 口 进行 了 10Mb、2Mb、512Kb 的 带宽 模拟 ， 给 
出 了 各 种 带宽 下 的 带宽 利用 率 。 


EEC 


EE A: 


Tey A 
a lo ne z 


-| plicuti 加 Mplications | 

| Uvzeton for MAppecalons 一 ut 
As Seen By 17 (17vral) Ng 

-| C2004.5-28) 


i J Ee My 上 
2D TF 374 33 了 343 下 第 4214 4 如 了 香 5 了 多 


i i i 


图 20-38 ”模拟 带宽 为 10Mb 时 的 带宽 利用 率 ， 最 大 值 接近 15% 
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图 20-39 ”模拟 带宽 为 2Mb 时 的 带宽 利用 率 ， 最 大 值 接 近 50% 
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20-40 ”模拟 带宽 为 512Kb 时 的 带宽 利用 率 ， 最 大 值 接近 200% 
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@ 结论 ， 对 比 不 同 带 宽 下 的 带宽 利用 率 模拟 图 可 以 看 出 ， 当 带宽 为 10Mb 时 ， 带 宽 
利用 率 最 大 值 接近 15$%， 带 宽 为 ?Mb 时 ， 带 宽 利 用 率 最 大 值 接近 50%， 带宽 为 512Kb 时 ， 
带宽 利用 率 最 大 值 接 近 200% (这 里 的 模拟 的 带宽 为 独占 带宽 )。 

(2) 防火 墙 延 迟 分 析 。 

@ 数据 。 如 表 20-47、 表 20-48 和 家 20-49 所 示 的 响应 时 间 ， 分 别 是 在 14:58~15:15、 
15:41~16:08、16:55~17:16 时 刻 ， 在 A 工作 区 进行 的 不 限 带 宽 、2Mb 带 宽 和 512Kb 带 宽 的 
并 发 压力 测试 ， 同 时 在 机 房 出 口 和 机 房 服务 器 端 进行 监测 得 到 的 。 


家 20-47 ”不 限 带宽 响应 时 间 


中 应 时 间 | 最 小 响应 时 间 (ms) | 最 大 响应 时 间 (8) | 平均 响应 时 间 Cms) 


路 由 后 控 针 | <1  _ | 39 213.49 
内 网 探 外 199.63 
时 间 关 | 13.86 


表 20-48 2Mb 带宽 响应 了 时间 


控 针 人 最 小 响应 了 时间 〈ms) 最 大 响应 时 间 〈8) 平均 响应 时 间 (ms》 


路 由 后 控 针 | <1 | 39 | 245 
内 网 探 针 200.19 


时 间 关 | 1440 


表 20-49 512Kb 带宽 响应 时 间 


ws 最 小 响应 时 间 (ms) 最 大 响应 时 间 〈s) 平均 响应 时 间 (ms) 


内 网 探 针 eT 207.39 
时 间 关 | | 1437 
@ 结论 ， 对 比 不 同 带宽 下 监测 到 的 防火 墙 延迟 ， 可 以 看 到 延迟 值 较 稳定 ， 基 本 保 
持 在 14ms 左 右 。 
通过 观察 相同 时 间 段 两 个 探 针 监测 到 的 应 用 数据 ， 发 现 数据 量 相 差 很 小 ， 这 说 明 防 
火 墙 的 丢 包 率 不 是 很 大 , 结合 前 面 的 分 析 可 以 看 出 , 丢 包 现象 主要 发 生 在 广域网 传输 段 。 
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测试 评估 与 测试 报 香 
局 域 网 测试 评估 


.对比 测 试 环境 下 的 测试 结果 及 故障 定位 


并 发 用 户 数 未 达到 性 能 需求 (100)。 

业务 交易 响应 时 间 较 长 。 

Portal 处 理 速度 慢 ，CM 处 理 速度 快 。 瓶 颈 在 Portal，CM 处 于 空闲 状态 。 . 
Portal CPU 资源 占用 量 大 。 

有 失败 SQL 调用 存在 ， 造 成 客户 端 交 易 失 败 。 


。 真 实业 务 测试 环境 下 的 测试 结果 及 故障 定位 


仍 存在 对 比 测 试 环 境 出 现 的 所 有 问题 。 
Portal 服务 器 内 存在 操作 结束 后 不 完全 释放 ， 如 表 20-50 所 示 。 
表 20-S0 ”Portal 服务 器 内 存 统计 | 
操作 步骤 Portal 服 务 器 内 存 占用 《〈%) 


服务 器 重新 肩 动 11.3 
启动 Domino | 14.5 
启动 应 用 系统 | | _. 44.3 
压力 测试 结束 时 刻 .81.7 


压力 测试 结束 15 小 时 之 后 | 69.5 


首页 Portal 的 7 个 channel 加 载 期 间 CM 服务 器 CPU 资源 占用 和 量 过 大 ， 达 到 
100% 。 

机 房 环 境 下 交易 的 响应 时 间 较 长 ， 机 房 环境 与 局 域 网 环境 对 比 ， 基 本 结论 是 ， 
在 局 域 网 环境 下 交易 的 响应 时 间 ， 比 在 机 房 环境 下 交易 的 啊 应 时 间 要 长 ， 差 值 


” 较 大 的 检查 点 如 表 20-51 所 示 。 


表 20-51 机 房 环 境 与 局 域 网 环境 对 比 差 值 较 大 的 案例 及 检查 点 
案 全 差 值 较 大 的 检查 点 
制度 文档 pT 
项 目 管理 | 登录 、 新 增 项 目 
工作 记事 登录 、 新 增 工作 记事 、 进 入 工作 记 珂 、 选 择 日 期 


客户 端 交 易 失 败 时 ， 数 据 库 报错 “连接 失败 "。 数 据 库 的 坡 大 连接 数 〈 目 前 设 
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为 40) 和 WebSphere 的 最 大 连接 数 死 配 关 系 ， 在 某 种 程度 上 导致 该 错误 。 
进程 级 的 CPU 与 内 存 资源 占用 情况 如 表 20-52 所 示 , 可 以 断定 进行 压力 执行 期 
间 ，jJava 进程 在 争 用 资源 。 

表 20-52 ”进程 级 的 CPU 与 内 存 资 源 占用 情况 


Memory% (top4) 
人 的 内 1 


23 4 14 

工作 记事 _ 进程 | Java | Java | Java | httpd | Java | Java | Java | Java_ 
数值 | 45 | 5 | 3 | 08 |14/29 [1224 | SN1 | 13 
项 目 管理 Java | Java_| Java | server | Java | Java | Java | Java 
数值 | 88 | 7 | 5 | 08 | 1726 23 


15/24 

Java 
1/2 
Java | Java 
21/28 | 18/25 1/2 


网 络 测试 环境 下 必须 在 承受 的 并 发 用 户 数 及 交易 响应 时 间 之 间 取 得 平衡 。 


3. 优化 重点 考虑 
优化 重点 考虑 Portal 服务 器 。 


Portal 与 CM 的 功能 划分 ， 即 EJB 的 业务 逻辑 划分 是 否 合理 。 
CM、Portal、WebSphere、DB2 的 调 优 。 

源 代 码 在 开发 过 程 中 的 优化 ， 例 如 是 否 考 虑 连接 缓冲 池 、 动 态 和 静态 请 求 调 用 
是 否 合理 等 。 

CM 的 调 优 从 应 用 逻辑 、CM 服务 器 性 能 两 方面 入 手 。 

将 操作 之 间 的 关联 度 降 低 。 
数据 库 的 最 大 连接 数 以 及 WebSphere 的 最 大 连接 数 匹配 关系 应 该 重点 考虑 。 


调 优 步骤 应 该 为 ; 


20.8.2 


首页 Portal。 
响应 较 慢 的 网 页 组 件 。 
影响 并 发 用 户 数 的 链接 。 
系统 硬件 资源 。 


广域网 测试 评估 


1. 交易 响应 时 间 对 比 | 
对 比 局 域 网 和 广域网 交易 平均 响应 时 间 ， 同 一 交易 在 相同 带宽 下 ， 广 域 网 测试 环境 
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下 的 响应 时 间 ， 都 比 局 域 网 测试 环境 下 的 响应 时 间 长 ， 响 应 时 间 差 如 表 20-53 所 示 。 


家 20-53 局 域 网 与 广域网 交易 响应 时 间 盖 


登录 (Init_Transaetion) | 交易 1(Action1_Transaction) | 交易 2(Actionl Transaction) 


响应 时 间 葡 \\ 

不 限 带宽 s) 509.822 

2M 带 宽 () | 1462 | 6201 251.035 

512K 带 宽 (s) 136.185 
2. 应 用 网 络 故障 定位 


3， 


广域网 环境 中 网 络 传输 时 间 所 占 比 例 较 高 ，Portal 服务 器 发 出 的 数据 在 广域网 络 
上 的 传输 时 间 ， 相 对 服务 器 本 身 处 理 时 间 要 长 。 网 络 带 宽 的 影响 和 其 他 应 用 程序 
争 用 带宽 的 影响 不 是 主导 因素 。 因 而 重点 考察 Portal 服务 器 的 网 络 发 送 时 间 。 
考察 Portal 服务 器 发 出 的 数据 帧 的 明细 ， 可 见 应 用 数据 在 广域网 上 存在 很 多 帧 
丢失 和 TCP 重 传 的 现象 。(Error: Frame only seen on sending side, prossibly lost 
by network; TCP Retransmission of earlier frame xxxx)。 通 过 分 析 数 据 中 的 TCP 
ACK 帧 ， 可 知 TCP 重 传 ， 不 是 由 客户 端 接收 缓存 满 ， 而 不 能 及 时 接收 数据 造 
成 的 。 要 综合 考虑 网 络 品质 问题 和 数据 发 送 端的 有 关 TCP 重 传 参 数 设 置 。 
例如 ， 针 对 起 始 序号 784、 绪 尾 序号 973 的 数据 帧 进行 包 跟 踪 分 析 ， 序 号 784 
的 数据 丢失 ， 导 致 多 次 重 传 , 序号 791、819、855、973 均 为 该 数据 帧 的 重 传 帧 ， 
且 重 传 的 延 时 不 断 递增 〈 重 传 开始 时 间 间 陋 为 1.407542578sec、3.000778311sec、 
6.001580091sec)。 因 此 造成 应 用 数据 传输 时 间 增 加 。 

分 析出 错 重 传 的 数据 帧 ， 发 现 字 节 少 的 帧 〈 如 60 字 节 的 TCP ACK) 较 少 出 现 
丢失 重 传 ， 字 节 多 (如 1514 字 节 的 HTTP[HTTP/1.1 200 OK]) 委 失 重 传 较 多 。 
数据 传输 的 包 大 则 增加 了 帧 的 传输 次 数 ， 同 时 增加 了 出 错 概率 。 


应 用 了 网络 性 能 分 析 


(1) 应 用 程序 会 话 分 析 


针对 不 同 的 案例 ，Portal 服务 器 到 CM 服务 器 会 话 往返 行程 基本 保持 一 致 ， 可 
以 看 到 系统 应 用 通信 模式 基本 一 致 ， 有 利于 系统 维护 。 

负载 生成 器 到 Portal 服务 器 运行 在 广域网 环境 下 ， 人 往返 行程 次 数 越 多 ， 受 网 络 
品质 、 网 络 延 迟 影响 越 大 。 例 如 “项 目 管理 ”案例 达到 138 次 。 

建议 降低 负载 生成 器 到 Portal 服务 器 的 往返 行程 次 数 。 


(2) 应 用 程序 线程 分 析 〈 以 “项 目 管理 ”案例 为 例 ) 
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。 ”应 用 往返 行程 (App. Tums) 最 大 的 三 个 线程 受 网 络 品质 、 网 络 延 迟 影响 最 大 。 
。 分析 往返 行程 最 大 的 三 个 线程 主要 性 能 数据 , 其 中 线程 “HTTP:[GET /wps/Portal 
HTTP/1.1]” 与 “TCP: 54760<->50000 ”持续 时 间 最 长 ， 并 且 线 程 “TCP: 
54760<->50000” 发 出 和 接收 的 字 节 数 和 帧 数 最 大 。 
。 ”线程 之 间 系 统 间歇 (gap) 达到 3 秒 ， 可 见 系统 空闲 时 间 在 控制 范围 之 内 ， 基 本 
可 以 接收 。 
。 ”线程 的 请 求 与 回应 基本 在 1 秒 钟 之 内 ， 但 也 有 约 3 秒 钟 的 响应 时 间 。 
。 ”本 案例 中 不 存在 相同 的 请 求 再 次 发 出 的 现象 。 
。 ”线程 与 会 话 (bounce) 以 及 包 (packet) 之 间 相 关联 , 包 之 间 的 相对 时 间 (relative 
time) 决定 了 包 传 输 的 效率 。 
。 ”建议 对 关键 线程 进行 相关 调 优 ， 有 必要 参考 包 数 据 。 
(3) 交易 蜂 值 分 析 《 以 “项 目 管理 ”案例 为 例 ) 
。 ”交易 最 高 峰值 达到 2.4Mb，1Mb 以 下 的 峰值 分 布 较 均匀 。 
。 ”交易 地 高 巍 值 2.4Mb 所 对 应 的 执行 线程 是 调 优 的 关键 。 
. we 调整 这 一 时 刻 某 些 线程 执行 的 起 始 时 间 。 
(4) 帧 数据 分 析 
。 小 于 100 字 节 和 大 于 1024 字 节 的 帧 在 传输 的 帧 中 占 的 比例 最 高 。 
。 ”模拟 不 同 带宽 (例如 : 10Mb、2Mb、512Kb、56Kb)、 延 迟 ( 例 如 ;150ms、100ms、 
50ms、1ms)、 负 载 ( 例 如; 10%、50%) 等 网 络 应 用 情况 ， 进 行 应 用 响应 时 间 预 测 。 
4， 网 络 品质 监控 
(1) 网 络 流量 分 析 
从 不 同 带 宽 的 数据 对 比 来 看 ， 随 着 网 络 带 宽 的 不 断 减 小 ， 进 行 同 样 交 易 所 传输 的 数 
据 量 有 较 大 的 增长 趋势 。 这 种 现象 说 明 ， 随 着 网 络 带 宽 的 下 降 ， 网 络 重 传 现象 不 断 加 重 ， 
这 与 前 面 应 用 网 络 故 障 定 位 的 结论 一 致 。 
(2) 应 用 分 布 分 析 
模拟 不 同 带 宽 下 的 带宽 利用 率 ， 可 以 看 出 : 当 带 宽 为 10Mb 时 ， 带 宽 利 用 率 最 大 值 接 
近 15%; 带宽 为 ?Mb 时， 带宽 利用 率 最 大 值 接近 50%; 带宽 为 S12Kb 时 ， 带 宽 利 用 率 最 大 
值 接近 200%〔 模 拟 带 宽 为 独占 带宽 )。 
(3) 防火墙 延 迟 分 析 
对 比 不 同 带 宽 下 监测 到 的 防火 墙 延 迟 ， 可 以 看 到 延迟 值 较 稳定 ， 基本 保持 在 14ms 
左右 。 
通过 观察 相同 时 间 段 两 个 探 针 上 监测 到 的 应 用 数据 ， 发 现 数 据 量 相差 很 小 ， 这 说 明 防 
火 墙 的 丢 包 率 不 是 很 大 , 结合 前 面 的 分 析 可 以 看 出 , 丢 包 现象 主要 发 生 在 广域网 传输 段 。 
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1。 配置 /过 程 管理 工具 

(1) TestDirector 

开发 公司 ，Mercury Interactive Corporation 

工具 简介 : 

TestDirector™M 是 业界 第 一 个 基于 Web 的 测试 管理 系统 , 它 可 以 在 公司 组 织 内 进行 全 
球 范围 内 测试 的 协调 。 通 过 在 一 个 整体 的 应 用 系统 中 提供 并 且 集 成 了 测试 需求 管理 、 测 
试 计 划 、 测 试 日 程控 制 以 及 测试 执行 和 错误 跟踪 等 功能 ，TestDirector 极 大 地 加 速 了 测试 
过 程 。 

TestDirector 能 消除 组 织 机 构 间 、 地 域 间 的 障碍 。 它 能 让 测试 人 员 、 开 放 人 员 或 其 他 
的 IT 人 员 通 过 一 个 中 央 数 据 仓库 ， 在 不 同位 置 就 能 互通 测试 信息 。TestDirector 将 测试 
过 程 流水 作业 一 一 从 测试 需求 管理 ， 到 测试 计划 ， 测 试 日 程 安排 ， 测 试 执行 以 至 出 错 后 
的 跟踪 一 一 仅 在 一 个 基于 浏览 器 的 应 用 中 便 可 完成 。 

TestDirector 的 需求 管理 可 以 让 测试 人 员 根据 应 用 需求 自 动 生成 测试 用 例 。 通过 提供 
一 个 直观 机 制 将 需求 和 测试 用 例 、 测 试 结果 和 报告 的 错误 联系 起 来 ， 从 而 确保 完全 的 测 
试 竹 盖 率 。 

TestDirector 的 Test Plan Manager 在 测试 计划 期 间 , 为 测试 小 组 提供 一 个 关键 要 点 和 
Web 界面 来 协调 团队 间 的 沟通 。Test Plan Manager 指导 测试 人 员 如 何 将 应 用 需求 转化 为 
具体 的 测试 计划 。 这 种 直观 的 结构 能 帮助 定义 如 何 测试 应 用 程序 ， 人 
务 和 责任 。 

一 旦 测试 计划 建立 后 ，TestDirector 后 册 访 让 到 全 过 为 测试 闫 丰 机 到 二 优 一 涉 业 于 
Web 的 框架 。 它 的 SmartScheduler™ 根 据 测试 计划 中 创立 的 指标 对 运行 着 的 测试 执行 监控 。 

TestDirector 的 出 错 管理 直接 贯穿 作用 于 测试 的 全 过 程 ,以 提供 管理 系统 终端 一 终端 
的 出 错 跟踪 一 一 从 最 初 的 问题 发 现 到 修改 错误 ， 再 到 检验 修改 结果 。 

(2) AllChange 

开发 公司 ; .英国 Intasoft 公司 

工具 简介 : 

AllChange 将 变更 管理 和 配置 管理 集成 一 体 ， 从 而 在 应 用 过 程 中 实现 了 工具 、 服 务 
和 实施 的 无 缝 集 成， 有 效 地 实现 了 从 概念 到 发 布 的 全 过 程 。 在 自动 任务 模式 和 连贯 生存 
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周期 的 支持 下 ， 使 开发 队伍 的 效率 得 到 提高 ， 信 息 畅 通 和 准确 评估 使 全 体 队 伍 在 整个 开 
发 周期 中 保持 步调 一 致 ， 对 软件 、 硬 件 、 文 档 以 及 问题 递交 、 变 更 和 发 布 过 程 的 集成 管 
理 ， 使 企业 可 以 开发 出 满足 客户 需求 的 商 质 量 产品 。 

AliChange 主要 功能 包括 : 变更 管理 、 配 置 项 管理 、 发 布 管理 、 过 程 管理 和 文档 管 
理 。 其 强大 的 基线 功能 可 以 定义 不 同 版 本 各 自 的 配置 项 、 上 自动 锁定 各 项 配置 并 拒绝 任何 
改动 ， 从 而 排除 了 发 布 内 容 的 不 确定 性 。 它 还 支持 不 同 变更 过 程 的 集成 ， 包 括 变更 配置 
项 、 控制 和 发 布 变更 等 内 容 , 最 大 程度 的 自动 和 透明 的 过 程 使 得 过 程 管 理 变 得 更 为 有 效 。 

AllChange 是 一 个 开放 的 系统 ,不 仅 可 以 与 Telelogic Doors、I-Logix Rhapsody、Artisan 
Real Time Studio、Visual Studio、Visual Basic、Visual Age for Java 等 开发 环境 和 平台 集 
成 在 一 起 ， 还 可 以 通过 API 与 O 仙 ce Tools，IDE，Help Desks 和 E-mail 等 其 他 系统 之 间 
实现 双向 集成 ， 可 直接 在 这 些 产品 内 部 进行 check in 和 check out 操作 。 

AliChange 通过 定义 不 同 的 生存 周期 ， 便 捷 地 实现 了 对 项 目的 有 效 管理 。 除 单机 操 
作 模 式 外 ，AllChange 还 支持 Client/Server 模式 和 Browser/Server 模式 ， 其 灵活 的 多 用 户 
模式 和 强大 的 可 伸缩 性 ， 可 以 满足 各 种 用 户 的 不 同 血 求 。 

(3) IRqA 

开发 公司 : TCP S.[I. 公 司 

工具 简介 : 

IRqA 是 一 个 提供 对 于 整个 需求 工程 过 程 支持 的 集成 的 需求 管理 工具 ,通过 IRqA 用 
户 可 以 创建 高 质量 的 系统 各 求 描述 ,捕获 和 管理 需求 , 分 析 需 求 关 系 。IRgA 具有 以 下 特 
点 ; 提供 基于 和 赴 求 工程 过 程 的 简便 易 用 的 、 强 大 的 集成 环境 ，Filtering system 提供 方便 
的 需求 捕获 、 管 理 和 修订 功能 ，Blocks 和 Domains 提供 有 效 的 需求 组 织 和 分 类 ;下 qA 
提供 自动 的 需求 关系 分 析 、 描 述 和 测试 ， 支持 报告 和 文档 的 自动 生成 ，Access partitions 
提供 用 户 访问 控制 和 管理 ; 提供 需求 描述 的 可 跟踪 性 ;可 以 通过 XMI 接口 ,支持 项 目 或 
者 子 项 目 与 其 他 工具 ， 如 UML 工具 间 的 导入 和 导出 ， 支持 ODBC 接口 ， 提 供 开放 的 数 
据 信息 存储 。 

(4) Telelogic DOORS 

开发 公司 : Telelogic 公司 

工具 简介 : 

Telelogic DOORS 是 一 球 需 求 管理 工具 。 它 可 以 捕获 、 连 接 、 跟 踪 、 分 析 和 管理 信 
息 ， 以 便于 确保 实施 的 工程 与 需求 规格 说 明和 标准 相 一 致 。 

DOORS 可 以 提供 企业 团队 工作 中 的 通信 和 能力、 协 从 能 力 和 需求 验证 能 力 。 其 直观 
的 用 户 界面 可 以 方便 地 帮助 多 用 户 通过 网 络 并 发 地 访问 ， 并 且 能 够 维护 大 量 的 管理 对 象 
《需求 和 关联 信息 ) 和 连接 。fish-eye 和 Microsoft Windows 资源 管理 器 图 形 方 式 的 管理 
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视图 ， 使 每 一 个 用 户 都 可 以 方便 地 定制 想 要 看 到 的 需求 信息 。 

DOORS 包括 一 套 完 整 的 变更 建议 流程 和 审核 系统 , 使 用 户 可 以 对 需求 递交 变更 建议 。 
内 部 的 项 目 连接 允许 项 目 共享 需求 、 设 计 和 测试 ， 以 及 提高 需求 的 跟踪 能 力 。 讨 论 机 制 支 
持 用 户 针对 一 个 意见 协 从 合作 交流 ， 以 加 快意 见 或 想法 的 确立 、 执 行 、 转 换 和 实现 。 

Distributed Data Management (DDM) 分 布 数据 管理 支持 远程 用 户 临 时 访问 和 使 用 
DOORS 的 所 有 功能 。 然 后 再 离线 工作 ， 并 且 远 程 用 户 可 以 将 数据 更 新 到 主 数据 库 中 一 一 
这 使 异地 团队 成 员 和 子 承 包 商 可 以 方便 地 合作 开发 和 退 信 。 

此 外 ，DOORS 为 用 户 提供 了 无 限制 关系 的 、 多 级 的 、 用 户 可 自 定制 的 跟踪 能 力 。 
它 的 跟踪 向 导 可 以 跨 多 级 地 生成 连接 报告 , 并 且 在 相同 的 视图 中 显示 一 一 提供 fool-proof 
周期 确认 和 验证 。 

DOORS 提供 了 电子 表格 风格 的 面向 文档 数据 视图 , 与 Microsof Word 和 Excel 有 很 
好 的 集成 。 同 时 具有 强大 的 可 伸缩 的 管理 能 力 ， 支 持 多 平台 操作 ， 具 有 基于 网 络 针对 多 
用 户 并 行 工 作 的 方式 提供 管理 大 型 复杂 项 目的 能 力 。 

(5) CM Synergy 

开发 公司 : Telelogic 公司 

工具 简介 : 

CM Synergy 通 过 支持 基于 任务 的 配置 管理 ， 使 团队 的 所 有 成 员 的 开发 活动 进行 有 效 
”地 协同 与 沟通 。 CM Synergy 的 基于 任务 的 方式 , 提供 了 通常 影响 多 个 文件 的 逻辑 变更 (如 
修改 与 增强 功能 〉 的 流程 驱动 ， 从 一 个 基线 及 其 附加 的 与 一 系列 任务 相关 联 的 变化 所 产 
生 的 配置 ， 通 过 一 个 “安全 与 智能 ”的 配置 管理 系统 可 以 发 现 编译 的 软件 是 否 完 成 且 与 
变更 保持 一 致 ， 通 过 图 形 界 面 驱动 来 定制 Telelogic 的 模 极 流程 ， 可 以 很 容易 适应 团队 所 
熟悉 的 流程 ， 使 之 符合 用 户 习惯 的 开发 方法 ， 通 过 对 用 户 展 示 开 发 项 目的 真实 状态 的 综 
合 视 图 来 加 强 对 项 目的 管理 。 

CM Synergy 内 部 的 分 布 式 变更 管理 (Distributed Change Management)， 可 以 使 分 布 
在 不 同 地 域 的 开发 团队 共享 信息 。DCM 能 使 开发 者 在 不 同 地 点 共 学 与 管理 共同 的 软件 部 
件 和 变更 需求 。 由 于 CM Synergy DCM 不 仅 能 够 把 项 目 数据 和 变更 希 求 发 布 到 远程 的 团 
队 ， 也 能 够 发 布 开发 流程 ， 这 使 得 它 成 为 一 种 分 布 式 环境 。 流 程 模 板 可 以 在 一 个 地 方 被 
定义 与 集中 管理 ， 然 后 再 发 布 到 远程 的 团队 ， 保 证 各 地 的 团队 在 重要 的 控制 方面 保持 一 
致 且 容 易 维 护 。 

CM Synergy 可 以 与 WebSphere Studio、 Eclipse、 Visual Studio、 Visual C++、 Visual Basic 
等 开发 环境 相 集 成 。 此 外 ， 通 过 引入 ActiveCM.ActiveCM， 为 用 户 提 供 了 自动 且 透 明 的 
CM 解决 方案 。 它 为 开发 者 提供 了 新 的 界面 与 使 用 模式 ， 使 与 其 开发 环境 透明 地 和 集成。 

(6) ChangeSynergy 
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开发 公司 : Telelogic 公司 

工具 简介 : 

Telelogic ChangeSynergyTM 为 基于 网 络 的 变更 需求 管理 建立 标准 , 是 完全 基于 网 络 的 
变更 需求 跟踪 和 报告 系统 。 与 Telelogic 的 变更 管理 解决 方案 CM Synergy 完全 集成 ， 
ChangeSynergy 简 化 了 变更 需求 管理 的 进程 , 使 企业 可 以 从 外 部 和 内 部 资源 对 变更 作出 反 
馈 。 通 过 为 团队 和 企业 提供 可 靠 的、 基于 任务 的 端 到 端 及 进程 驱动 的 目 动 操作 ， 实 现 了 
对 整个 开发 生命 周期 的 控制 。 通 过 ChangeSynergy， 用 户 可 以 跟踪 、 管 理 各 种 各 样 的 软件 
和 信息 资产 ， 基 于 网 络 的 应 用 软件 及 站 点 ， 满 足 不 同 用 户 的 需求 ， 同 时 执行 组 织 和 业务 
的 需求 。 

ChangeSynergy 为 整个 企业 的 开发 环境 提供 了 基于 任务 的 变更 管理 平台 ， 用 来 管理 
变更 需求 。 通 过 与 Telelogic 的 变更 和 配置 管理 库 集 成 ， 使 企业 可 以 使 用 基于 任务 的 方法 
来 管理 以 软件 为 中 心 和 以 变更 为 中 心 的 需求 。 该 系统 使 企业 可 以 跟踪 和 记录 所 有 的 变更 
需求 ， 并 且 将 所 有 开发 活动 的 管理 都 可 视 化 。 它 还 将 管理 与 项 目 状 态 及 他 们 需要 的 其 他 
信息 相连 ， 从 而 作出 迅速 的 决定 ， 保 持 进程 的 持续 性 。 

ChangeSynergy 提供 了 人 性 化 的 直观 的 变更 需求 界面 ， 使 任何 管理 或 团队 成 员 都 可 
以 轻易 地 创建 变更 需求 以 及 在 整个 可 用 的 模板 、 过 程 和 进程 中 分 配 和 跟踪 任务 。 
ChangeSynergy 系统 基于 角色 并 且 可 以 提供 容易 使 用 的 任务 分 配 、 监 控 和 报告 性 能 。 

ChangeSynergy 提供 现成 的 模板 、 流 程 和 过 程 ， 结 合 Telelogic 基于 任务 的 配置 管理 
工具 ， 一 个 端 到 端的 变更 管理 系统 能 被 很 快 地 使 用 起 来 ， 从 而 解决 开发 组 织 所 面临 的 效 
率 和 质量 问题 。 

(7) McCabe TrueChange 

开发 公司 ; McCabe&Associates，Inc. 

McCabe Truechange 是 第 三 代 软 件 配 置 管理 工具 ， 提 供 直 观 的、 逻辑 性 的 方法 以 管 
理 软件 的 版 本 及 更 改 。 由 于 是 基于 任务 方式 监控 软件 的 更 改 情况 ，Truechange 简化 了 软 
件 配置 管理 过 程 ， 具 有 监控 管理 不 同 版 本 或 不 同 平台 下 软件 变化 或 改变 的 能 力 ， 同 时 可 
-无 缝隙 地 支持 开发 过 程 ， 并 有 利于 同一 软件 多 个 应 用 版 本 的 维护 。 

Truechange 是 基于 Change-Sets 技术 的 软件 配置 从 单一 的 文件 更 改 上 升 到 逻辑 功能 
更 改 ， 如 软件 错误 的 修正 、 软 件 功能 的 更 改 。 

Change-Sets 技术 允许 用 户 移动 、 共 享 和 部 练 操纵 各 种 变化 ， 并 把 它们 看 作 一 个 独立 
的 系统 。 具 有 支持 任何 更 改 时 间 表 、 安 全 性 与 可 追踪 性 、 支 持 交 叉 平 台 、 与 QA 及 测试 
产品 集成 等 特点 。 

(8) T-Plan , 
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开发 公司 : T-Plan Ltd. 

工具 简介 : 

T-Plan 是 一 球 测 试 过 程 管理 工具 ， 支 持 任何 规模 的 项 目 从 单元 测试 直到 用 户 验 收 测 
试 的 各 项 测试 过 程 , 无 论 是 手工 测试 还 是 自动 测试 , 技术 人 员 和 非 技术 人 员 都 可 以 计划 、 
编写 文档 ， 管 理 软件 测试 活动 、 工 程 的 商业 目的 实现 和 质量 保证 。 

T-Plan 的 核心 是 清晰 的 管理 过 程 。 它 来 目 预 置 的 过 程 结 构 。 这 种 过 程 可 以 局 部 修正 
或 者 替代 公司 的 标准 过 程 。 测 试 过 程 管理 基于 业界 广泛 采用 的 “V” 模 型 。 通 过 使 用 
T-Plan， 测 试 计 划 将 作为 测试 过 程 的 一 部 分 结合 在 一 起 。 其 主要 功能 如 下 。 

测试 分 析 : 这 是 测试 过 程 管理 的 核心 。 定 义 被 测 系 统 如 何 集成 和 评审 ; 定义 功能 
结构 图 和 每 个 功能 的 相关 风险 因素 等 。 

测试 执行 管理 ; 在 这 个 阶段 ,测试 统计 、 焙 六 率 和 测试 成 功 与 否 等 测试 结果 被 记 
录 下 来 。 在 任何 阶段 管理 层 可 以 确定 什么 测试 已 经 执行 过 并 且 通 过 了 ， 什 么 测试 已 经 执 
行 过 并 且 失 败 了 ， 什 么 测试 还 没有 执行 ， 什 么 测试 还 没有 完成 不 能 运行 。 

@ 事件 管理 : 所 有 的 事件 可 以 记录 下 来 ， 分 类 和 跟踪 直至 解决 。 

能 力 : T-Plan Professional 是 所 有 测试 资产 的 中 心 存储 数据 库 。 各 个 资产 之 间 相 
互联 系 并 且 随 着 测试 的 进行 捕捉 数据 ， 既 提供 有 价值 的 资源 用 来 管理 当前 测试 工程 ， 并 
且 帮 助 用 户 计划 未 来 的 工程 。 z 

报告 和 分 析 : T-Plan Professional 提供 测试 过 程 的 广泛 的 报告 ， 用 户 可 以 定义 报 
告 中 需要 什么 。 

可 追溯 性 ; 通过 按照 过 程 驱动 的 方法 测试 , 可 以 在 软件 生命 周期 中 管理 变更 。 从 
需求 而 来 的 测试 条 件 和 测试 脚本 之 间 的 关系 可 以 提供 这 些 信 和 息 ， 从 而 提高 了 可 退 溯 性 。 

@ 与 其 他 工具 的 连接 : T-Plan Professional 与 需求 管理 、 测 试 自 动 化 〈 捕 捉 / 回 放 ) 
和 其 他 软件 开发 工具 可 以 连接 ， 这 种 连接 是 由 软件 和 最 小 用 户 交 互 来 控制 的 。 

2. 功能 测试 工具 

(1) WinRunner 
开发 公司 ，Mercury Interactive Corporation 
”工具 简介 ; 

WinRunner™M 是 一 种 企业 级 的 用 于 检验 应 用 程序 是 否 如 期 运行 的 功能 性 测试 工具 。 
通过 自动 捕获 、 检 测 和 重复 用 户 交 互 的 操作 ，WinRunner 能 够 辨认 缺陷 并 且 确 保 那些 跨 
越 多 个 应 用 程序 和 数据 库 的 业务 流程 在 初次 发 布 时 就 能 避免 出 现 故障 ， 并 且 保持 长 期 可 
靠 运行 。 

用 WinRunner 创立 一 个 测试 ， 您 只 须 记录 下 一 个 标准 的 业务 流程 ，WinRunner 直观 
的 记录 流程 能 让 任何 人 在 GUI 上 单 击 鼠 标 就 可 建立 测试 。 
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在 记录 一 个 测试 的 过 程 中 ， 可 插入 检查 点 ， 在 查询 潜在 错误 的 同时 ， 比 较 预 想 和 实 
际 的 测试 结果 。 在 插入 检查 点 后 ，WinRunner 会 收集 一 套 性 能 指标 ， 在 测试 运行 时 对 其 
一 一 验证 。 

除了 创立 并 运行 测试 ， WinRunner 还 能 验证 数据 库 的 数值 ， 从 而 确保 交易 的 准确 性 。 
WinRunner 的 DataDriverIM Wizard， 单 击 刀 标 就 能 简单 地 将 一 个 记录 下 的 业务 流程 

转化 为 一 个 数据 驱动 的 测试 ， 来 反映 多 个 用 户 各 自 独 特 且 真 实 的 操作 行为 。WinRunner 

的 另 一 个 能 加 强 测试 质量 的 特征 是 具有 FunctionGenerator“- 一 一 一 种 可 视 工 具 ， 能 快速 
可 靠 地 为 您 的 测试 增加 功能 。 使 用 FunctionGenerator， Bo 
加 到 测试 中 以 提高 测试 能 力 。 

WinRunner 执行 测试 时 ， 它 会 自动 操作 应 用 程序 ， 它 的 意外 处 理 功能 为 测试 排除 干 
扰 ， 包 括 消息 和 警报 。 一 旦 测试 运行 后 ，WinRunner 的 互动 式 的 报告 工具 通过 提供 详尽 
的 、 易 读 的 报告 ， 其 中 会 列 出 在 测试 中 发 现 的 差错 和 出 错 的 位 置 ， 来 帮助 您 解释 所 得 的 
结果 。 这 些 报告 对 在 测试 ; i 如 四 铺 魏 容 和 检查 点 竺 。 

(2) SilkTest™ 

开发 公司 ; Segue Software， je 

SilkTest 是 用 于 对 企业 级 应 用 进行 功能 测试 的 产品 ， 可 用 于 测试 Web、Java 或 是 传 
统 的 C/S 结构 。SilkTest™ 提供 了 许多 功能 ， 使 用 户 能 够 高 效率 地 进行 软件 自动 化 测试 。 
这 些 功 能 包括 ， 测试 的 计划 和 管理 ， 直 接 的 数据 库 访 问 及 校 验 ， 灵 活 、 强 大 的 4Test 脚 
本 语言 ， 内 置 的 恢复 系统 (Recovery System); 以 及 具有 使 用 同一 套 脚 本 进行 跨 平台 、 跨 
浏览 器 和 技术 进行 测试 的 能 力 。 

QD 跨 浏览 器 和 跨 平台 测试 ，SilkTest 通过 使 用 Document Object Model (DOM) 技 
术 ， 实 现 了 对 Netscape Navigator 6.0 的 支持 。DOM 技术 确保 测试 脚本 在 不 同 平台 、 不同 
浏览 器 下 具有 可 移植 性 ， 以 提 商 测试 效率 。 同 一 个 测试 脚本 可 以 不 需要 修改 就 运行 于 
Windows NT、Windows 2000、Windows 95/98、Windows Me、 Windows XP、 Netscape 
Navigator 4.0/6.0、 Microsoft Intermnet Explorer 4.0/5.0/5.5/ 6.0。. . 

@ 使 用 4Test 语言 进行 强力 测试 ， SilkTest 的 4Test 是 面向 对 象 的 第 四 代 语 言 , 特别 
适用 于 复杂 测试 。SilkTest 中 的 所 有 测试 案例 ， 无 论 是 录制 生成 或 是 脚本 生成 ， 均 使 用 
4Test 语言 创建 。4Test 语言 提供 了 大 量 的 命令 、 数 据 类 型 和 函数 ， 人 允许 用 户 通 过 循环 和 
分 支 结构 扩展 测试 用 例 的 范围 ， 也 可 以 在 测试 用 例 中 包含 例外 处 理 ， 从 而 保证 脚本 的 强 
壮 性 | 

”@ 分 布 式 应 用 的 集中 测试 ，SilkTest 的 分 布 式 测试 结构 ， 可 以 同时 跨越 Windows 
和 UNIX 前 端 、 四 Java 的 网 络 系统 环境 运行 同一 个 测试 。 
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由 对 质量 过 程 的 有 效 管理 ，SilkTest 提供 了 跨 多 平台 、 多 开发 环境 、 多 浏览 器 的 测试 
计划 、 开 发 、 执 行 及 结果 报告 。 通 过 SilkTest， 可 以 共享 测试 计划 、 语 汇 、 测 试 案例 等 。 

此 外 ，SilkTest 能 够 与 其 他 Silk 产品 有 机 的 结合 在 一 起 ， 例 如 面向 过 程 测试 管理 的 
SilkPlan Pro， 它 包括 希 求 的 检查 及 确认 ， 测 试 执行 的 安排 和 产品 是 否 具备 发 布 条 件 的 评 
估 报 告 功能 。 也 可 以 与 面向 工作 流 缺 陷 管 理 的 SilkRadar 进行 集成 。 

3。 性 能 测试 工具 〈 系 统 强度 测试 工具 ) 

《1) LoadRunner 

开发 公司 ，Mercury Interactive Corporation 

工具 简介 : 

LoadRunner®@ 是 一 种 预测 系统 行为 和 性 能 的 负载 测试 工具 。 通 过 模拟 成 千 上 万 名 用 
户 和 实施 实时 性 能 监测 来 确认 和 查找 问题 ，LoadRunner 能 够 对 整个 企业 架构 进行 测试 。 
通过 使 用 LoadRunner， 企 业 能 最 大 限度 地 缩短 测试 时 间 ， 优 化 性 能 和 加 速 应 用 系统 的 发 
布 周期 。 

LoadRunner 是 一 种 较 高 规模 适应 性 的 自动 负载 测试 工具 ， 它 能 预测 系统 行为 ， 优 化 
性 能 。LoadRunner 强调 的 是 整个 企业 的 系统 ， 筷 通过 模拟 实际 用 户 的 操作 行为 和 实行 实 
时 性 能 监测 ， 来 帮助 您 更 快 地 确认 和 和 碍 找 问题 。 

使 用 LoadRunner 的 Virtual User Generator 引擎 ， 能 很 简便 地 创立 起 系统 负载 。 用 
Virtual User Generator 建立 测试 脚本 后 ， 可 以 开始 对 其 进行 参数 化 操作 ， 这 一 操作 能 让 您 
利用 几 套 不 同 的 实际 发 生 数据 来 测试 应 用 程序 ， 从 而 反应 出 本 企业 的 工作 负载 。 

LoadRunner 内 含 集 成 的 实时 监测 器 ， 在 负载 测试 过 程 的 任何 时 候 ， 都 可 以 观察 到 应 
用 系统 的 运行 性 能 。 这 些 被 动 监测 器 为 您 实时 显示 交易 性 能 数据 ， 用 户 可 以 在 测试 过 程 
中 从 客户 和 服务 器 的 双方 面 评估 这 些 系 统 组 件 的 运行 性 能 ， 从 而 更 快 地 发 现 问题 。 

一 旦 测试 完毕 后 ，LoadRunner 收集 汇总 所 有 的 测试 数据 ， 并 提供 高 级 分 析 和 汇报 能 
力 ， 以 便 迅速 查找 到 性 能 问题 并 追溯 原由 。 

(2) SilkPerformer V™ 

开发 公司 : Segue Software，Inc. 

工具 简介 : 

”SilkPerformer VTM 是 一 种 在 工业 领域 最 商 级 的 企业 级 负载 测试 工具 。 它 可 以 模仿 成 
千 上 万 的 用 户 在 多 协议 和 多 计算 的 环境 下 工作 。 不 管 企 业 电 子 商务 应 用 的 规模 大 小 及 复 
杂 性 ， 通 过 SilkPerformer VTM 均 可 以 在 部 署 前 预测 它 的 性 能 。 可 视 的 用 户 化 界面 、 实时 
的 性 能 监控 和 强大 的 管理 报告 可 以 帮助 用 户 迅 速 地 解决 问题 。 

SilkPerformer VIM 可 以 使 用 并 且 管 理 位 于 远 端 的 测试 负载 代理 机 器 ， 并 可 以 顺利 通 
过 防火 墙 。 它 支持 互联 网 安全 标准 ， 包 括 身份 验证 ,使 SilkPerformer V™ 能 够 测试 电子 
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商务 系统 所 有 方面 的 任务 。 一 个 简单 强大 的 ， 基 于 Pascal 的 脚本 语言 提供 了 对 所 有 用 户 
活动 的 控制 。 

在 独立 的 负载 测试 中 ，SilkPerformer V™ 允许 用 户 在 多 协议 、 多 计算 环境 下 工作 。 
并 可 以 精确 地 模拟 浏览 器 与 Web 应 用 的 交互 作用 。 它 的 TmueCacherM 技术 为 模拟 浏览 
器 的 Cache (缓存 ) 提供 了 精确 的 保证 。TrueModem™ 技术 和 工作 负载 模块 使 
SilkPerformer VT™M 可 以 产生 可 信 的 负载 。 对 客户 端的 IP 地 址 与 DNS 的 模拟 允许 用 户 测 
试 负载 平衡 。 

SilkPerformer VTM 中 的 TmeLog™ 技术 提供 了 完全 可 视 化 的 原因 分 析 技 术 。 通 过 这 
种 技术 ， 可 以 对 测试 过 程 中 的 用 户 产 生 和 接收 的 数据 进行 可 视 化 处 理 ， 包 括 全 部 嵌入 的 
对 象 和 协议 头 信息 ， 从 而 进行 可 视 化 分 析 ， 甚 至 在 应 用 出 现 错误 时 都 可 以 进行 问题 定位 
与 分 析 。 

通过 附加 的 Server Analysis Module (Server 分 析 模 块 SAM) ， 可 以 监测 服务 器 的 统 
计数 据 ， 并 与 负载 测试 结果 数据 结合 起 来 ， 识 别 系统 中 后 端 服务 器 的 问题 ， 甚 至 包括 防 
火 墙 后 端的 服务 器 。 

同时 ， 利 用 SilkPerformer VT™ 对 中 间 件 与 数据 库 的 支持 ， 可 以 对 系统 中 的 后 端 服务 
器 进行 负载 测试 ， 并 修改 任何 系统 伸缩 性 和 性 能 问题 。 

此 外 ， 用 于 提高 可 扩展 性 的 开放 性 工业 标准 接口 ， 确 保 了 SilkPerformer VTM 也 能 够 
用 于 那些 out-of-the-box 功能 并 不 完善 的 特定 场合 。 在 最 新 的 SilkPerformer VTM 中 还 提供 
了 对 Microsoft .NET 的 支持 ; TmueScaler Web 回放 器 提供 广泛 的 页 面 校 验 和 错误 记录 功 
能 ; 可 进行 基于 场景 测试 的 All-Day 负载 测试 等 新 特性 。 

(3) Benchmark factory 

开发 公司 : Quest Software，Inc. 

工具 简介 : 

Benchmark Factory 是 一 种 高 扩展 性 的 强化 测试 、 容 量规 划 和 性 能 优化 工具 。 它 通过 
模拟 成 千 上 万 个 用 户 访问 应 用 系统 中 的 数据 库 、 文 件 , Internet 及 消息 服务 器 的 真实 情形 ， 
方便 而 准确 地 确定 充裕 的 系统 容量 ， 查 找 系统 瓶颈 ， 隔 离 出 分 布 式 计算 环境 中 与 系统 强 
度 有 关 的 问题 。 

Benchmark Factory 通过 记录 和 回放 多 用 户 测 试 中 的 事务 处 理 过 程 ， 使 开 专业 人 员 

E 够 更 加 方便 地 完成 系统 强度 测试 。 用 户 进程 、 实 景 延 迟 和 Benchmark Factory 的 强大 脚 
本 引 北 ， 强 化 了 测试 的 彻底 性 和 简 使 性 。 

除了 模仿 交易 量 外 ，Benchmark Factory 还 可 通过 对 输入 时 间 、 思 考 时 间 和 执行 问 隔 
的 设置 ， 模 拟 出 交易 发 生前 ， 用 户 输入 数据 ， 用 户 在 进入 下 一 步 操作 前 作出 决定 的 过 程 
之 类 的 活动 ， 从 而 更 加 真实 地 模拟 交易 场景 。 


www.TopSage.com 


688 软件 评测 师 教 程 


此 外 Benchmark Factory 为 IT 人 员 提 供 了 不 同 的 测试 结果 分 析 方 法 。 用 户 可 以 对 多 
个 测试 进行 比较 ， 或 进一步 控 握 某 个 测试 的 细节 。 除 了 分 析 功 能 外 ,还 可 以 打印 更 全 面 
的 报表 ， 使 用 户 能 够 通过 便于 阅读 的 图 形 和 表格 华 所 大量 的 信息 。 

(4) JProbe 

开发 公司 : Quest Software，Inc. 

工具 简介 : 

JProbe 是 一 款 J2EE 性 能 测试 和 诊断 工具 。JProbe 套件 中 包含 了 四 个 模块 : 且 robe 
Profiler、JProbe Memory debugger、JProbe Threadalyzer 和 JProbe Coverage， 分 别 从 Java 
代码 性 能 、 内 存 使 用 状况 、 线 程 状 态 和 测试 代码 灶 次 量 四 个 方面 对 Servlet、JSP 和 EJB 
应 用 代码 进行 诊断 、 分 析 。 

JProbe Profiler 模块 内 置 了 Call Graph 〈 调 用 关系 图 ) 和 次 级 数据 采集 机 制 ， 可 以 将 
性 能 问题 落实 到 方法 和 代码 行 的 层次 。 主 要 功能 包括 : 确定 方法 的 热点 ， 以 逐 行 的 方式 
挖掘 分 析 性 能 状态 ， 计 算 运 行 时 间或 CPU 占用 时 间 ， 确 定 要 诊断 分 析 的 关键 代码 区 域 ， 
预测 代码 修改 对 性 能 造成 的 影响 。 

JProbe Memory Debugger 模 块 可 帮助 开发 人 员 快 速 查找 Java 代 码 的 内 存 泄露 和 对 象 
循环 现象 。 内 置 的 实时 内 存 使 用 情况 图 和 对 和 象 视图 有 助 于 开发 人 员 举 所 实际 的 内 存 使 用 
状况 ， 并 设法 减少 内 存 消耗 以 提高 应 用 性 能 。 主 要 功能 包括 : 通过 易 用 的 两 步 分 析 法 ， 
跟踪 运行 时 的 内 存 增长 状况 ， 计 算 内 存 汇 露 量 ， 通 过 Leak Doctor 发 现 可 能 的 内 存 泄露 根 
源 ， 检 测 过 多 的 短期 对 象 和 垃圾 收集 详情 ， 确 定 代码 改变 对 内 存 使 用 的 影响 。 

JProbe Threadalyzer 模 块 是 一 种 强大 的 线程 问题 探测 工具 , 可 以 发 现 诸如 死 锁 、 停 顿 、 
竞争 等 危及 应 用 数据 完整 性 的 问题 。 主 要 功能 包括 : 观察 线程 状态 的 变化 ， 预 测 死 锁 及 
数据 竞争 状况 ， 发 现 不 当 同 步 情 况 避 免 数据 损坏 。 

JProbe Coverage 模 块 可 以 帮助 开发 人 员 查 找 测 试 的 代码 量 ， 精 确 计算 已 测试 的 代码 
量 ， 轻 易 实 现 测 试 工 作 可 靠 性 和 精确 度 的 评估 。 主 要 功能 包括 : 迅速 确定 未 测试 代码 或 
死 代 码 : 分 析 特 定 条 件 下 所 绪 盖 的 代码 范围 ， 精 确 的 攻 盖 范围 报告 ， 以 XML、 纯 文本 、 
CSV 或 者 HTML 格 式 输 出 允 盖 范围 报告 ， 实 现 个 性 化 分 析 。 

4， 自 盒 、 嵌 入 式 测试 工具 

(1) TAU Logiscope 

开发 公司 ;Telelogic 公司 

工具 简介 : 

Logiscope 是 一 组 收入 式 软件 测试 工具 集 。 它 遵循 1SO/IEC9126 定义 的 “质量 特征 ” 
标准 ， 对 软件 的 分 析 ， 采 用 基于 国际 问 使 用 的 度 重 方法 (Halstead、MecCabe 等 ) 的 质 重 
模型 ， 以 及 从 多 家 公司 收集 的 编程 规则 集 ， 从 软件 的 编程 规则 、 静 态 特征 和 动态 测试 萎 
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盖 等 多 个 方面 ， 重 化 地 定义 质量 模型 ， 并 检查 、 评 估 软 件 质量 。 

在 开发 阶段 ， 用户 不 仅 可 以 从 RuleChecker 预定 义 的 50 个 的 编程 中 选择 规则 ， 而 且 
也 可 以 用 Tcl、 脚本 和 编程 语言 定义 新 的 规则 。 此 外 ， 还 提供 了 50 个 面向 安全 -关键 系统 
的 编程 规则 , 帮助 用 户 建立 规则 集 和 定义 质量 模型 。RuleChecker 用 所 选 的 规则 对 源 代码 
进行 验证 ， 指 出 所 有 不 符合 编程 规则 的 代码 ， 并 提出 改进 源 代码 的 解释 和 建议 ， 并 可 通 
过 文本 编辑 器 直接 访问 源 代码 ， 指 出 需要 纠正 的 位 置 。 

Audit 以 ISO 9126 模型 作为 质量 评价 模型 的 基础 ， 将 被 评价 的 软件 与 规定 的 质量 模 
型 进行 比较 ， 以 图 形 方 式 显 示 软 件 质量 的 级 别 ， 并 对 度量 元 素 和 质量 模型 不 一 致 的 地 方 
作出 解释 并 提出 纠正 的 方法 。 

在 测试 阶段 ，Logiscope 推荐 对 指令 (IB)、 逻 辑 路 径 (DDP〉 和 调用 路 径 (PPP) 
的 窗 盖 测试 。 此 外 ， 对 安全 -关键 软件 还 提供 了 MC/DC 的 覆盖 测试 。TestChecker 产生 
每 个 测试 的 测试 禾 盖 信息 和 累计 信息 。 并 根据 测试 运行 悄 况 实时 在 线 更 改 ， 随 时 显示 新 
的 测试 所 反映 的 测试 禾 盖 情况 ， 从 而 确保 测试 的 有 效 性 。 

在 维护 阶段 ，Logiscope Audit 将 应 用 系统 的 框架 以 文件 形式 (部 件 文件 间 的 关系 ) 
和 调用 图 的 形式 〈 函 数 和 过 程 间 的 关系 ) 可 视 化 ， 从 而 减少 对 未 知 系统 理解 所 需 的 时 间 。 

Logiscope 在 代码 开发 和 评审 阶段 ,可 寻找 潜在 的 错误 。 通 过 对 未 被 测试 代码 的 定位 ， 
Logiscope 帮助 找到 隐藏 在 未 测试 代码 中 的 缺陷 。 其 为 开发 者 提供 SEUCMM 在 第 2 级 

(Repeatable ) 所 要 求 的 软件 质量 跟踪 等 关键 实践 的 要 求 ， 推 进 开发 组 织 尽快 达到 
SEISMM 的 3 级 。 
(2) McCabe IQ 

代理 公司 : McCabe&Associates，Inc. 

工具 简介 : 

MecCabe IQ 是 一 丈 静 态 分 析 / 软件 质量 度量 工具 集 , 包 括 McCabe EQ、McCabe Test、 
McCabe Reengineering 等 组 件 。 它 提供 客观 的 方法 评估 测试 窗 盖 率 ， 具 有 一 致 性 、 重 复 
性 、 客 观 解 释 、 质 量 评估 、 优 化 测试 、 分 配 资源 ， 管 理 具 有 危险 性 的 软件 等 功能 。 能 真 
正 保 证 测试 每 个 独立 的 路 径 ， 可 确定 测试 过 的 路 径 和 没 测 试 过 的 路 径 。 

McCabe EQ 集成 一 个 新 的 SQL 服务 器 ， 用 于 收集 米 自 于 McCabe IQ 诸多 工程 的 静 
态 和 动态 数据 。 通 过 将 这 些 数据 信息 上 载 至 EQ， 可 以 在 一 个 用 户 自 定义 的 层次 上 去 管 
理 数据 信息 ， 整 合 软 件 工程 结果 。 对 于 生成 的 测试 报告 ， 用 户 可 以 自行 修改 。 

McCabe Test 以 NIST 《国家 标准 技术 局 〉 出 版 的 测试 标准 为 基础 ， 能 彻底 地 对 系统 
进行 测试 ， 找 出 系统 中 的 错误 。 通 过 自动 化 、 标 准 化 测试 过 程 ， 可 以 缩短 测试 周期 ， 对 
测试 完整 性 进行 审查 ， 指 导 更 有 效 的 测试 ， 精 确 地 进行 测试 资源 计划 分 配 。MecCabe Test 
的 白 盒 测 试 技术 能 够 更 多 地 狠 盖 被 测 软件 ， 找 到 更 多 错误 、 从 而 提高 被 测 软 件 可 靠 性 。 
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Reenglineer。 

此 外 ，McCabe IQ 可 以 对 给 定 的 软件 记录 多 达 105 种 度量 ; 提供 了 35 种 预定 义 的 报 
告 供 用 户 选择 ， 这 些 报告 从 最 简单 的 表格 到 图 形 化 数据 表示 可 以 帮助 本 地 (模块 级 ) 和 
系统 分 析 。 为 提高 基本 代码 分 析 结 果 的 综合 性 ， 报 告 有 超 链接 能 力 ， 允 许 用 户 从 相关 数 
据 关 联 到 系统 组 件 ; McCabe IQ 还 提供 了 battlemap 和 flowgraph 可 视 化 工具 ， 具 有 各 个 
级 别 上 的 可 视 化 图 形 显示 能 力 。 

(3) PROA C/C++ 

代理 公司 ; Programming Research 公司 

PRQA C/C++ 是 代码 规则 静态 检测 工具 。 它 可 为 用 户 提供 针对 C 或 C++ 代码 的 静态 
人 检测、 复杂 度 分 析 以 及 程序 分 析 。 该 工具 的 最 大 特点 在 于 ， 可 以 根据 用 户 的 需求 ， 进 行 
代码 规则 的 专门 定制 ， 满 足 不 同行 业 用 户 的 不 同 需求 。 

另外 ， 针 对 C 语 育 的 QAC 工具 还 可 以 与 目前 流行 的 MIRA 标准 进行 无 估 集 成 ， 提 
供 更 多 、 更 规范 的 代码 规则 。 

(4) C Verifier(C 程序 验证 器 ) 

代理 公司 ， 法 国 PolySpace 公司 

PolySpace C Verifier 是 用 来 直接 进行 运行 错误 和 非 确定 性 构件 检测 的 工业 化 产品 ， 
在 编译 时 针对 ANSI C 的 应 用 进行 。PolySpace Verifier 不 需要 代码 执行 和 修改 ， 或 运行 
耗 时 的 测试 用 例 。PolySpace Verifier 能 精确 地 指出 引起 运行 错误 的 代码 部 分 。 

PolySpace C Verifier 依靠 的 是 建立 在 抽象 解释 上 的 吏 态 验证 技术 。 已 有 的 测试 和 调 
试 工具 是 动态 和 交互 地 验证 软件 的 一 致 性 ， 抽 象 解 释 技 术 使 得 PolySpace Verifier 能 够 彻 
底 地 发 现 和 检查 出 那些 在 未 来 的 运行 中 出 错 的 代码 。 

PolySpace C Verifier 具有 Static Verification 和 Abstract Interpretation 功能 ， 静 态 验证 
(Static Verification) 检 查 软件 应 用 的 动态 特性 ， 并 没有 实际 的 运行 ， 节 约 了 大 量 的 时 间 。 
抽象 解释 (Abstract Interpretation )， raphe eb 仅 使 用 
较 小 的 计算 机 资源 。 通 过 使 用 抽象 技术 ，PolySpace Verifier 对 被 分 析 的 软件 和 派生 的 动 
态 特 性 进行 抽象 ， 而 不 是 交互 地 验证 软件 状态 。PolySpace Verifier 中 的 切 边 技术 提供 非 
常 高 效 的 选择 性 (诊断 出 安全 、 不 安全 和 彰 代 码 ) 并 且 极 大 地 缩短 彻底 的 代码 评审 的 时 
间 要 求 。 

PolySpace Verifier 由 基本 内 核 和 配置 与 启动 分 析 的 图 形 化 用 户 接 口 组 成 ， 可 目 动 和 
彻底 地 检查 下 面 的 错误 : 企图 读 未 初始 的 变量 、 多 线程 应 用 中 未 保护 数据 的 访问 神 突 、 
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对 空 指针 和 越界 指针 的 引用 、 对 超 界 数 组 的 访问 、 非 法 类 型 转换 (long to short, float to 
integer)、 非 法 的 算数 运算 《如 除 零 错误 ， 负 数 开 方 )、 整 数 和 浮 点 数 的 上 溢出 /下 溢出 、 
不 可 达到 的 代码 。 

($) ASG-SmartTest 

开发 公司 : Segue Software，Inc. 

工具 简介 : 

ASG-SmartTest 是 ASG-ESW (Existing System Workbench) 上 的 交互 式 测 试 器 和 调 
试 器，ASG-SmartTest 提供 上 自动 的 测试 和 调试 功能 ， 帮 助 用 户 发 现 各 种 语言 和 平台 上 的 
错误 和 结构 设计 问题 。 

ASG-SmartTest 提供 TSO、Batch、Dialog Manager、CICS 和 IMS 域 上 运行 的 COBOL、 
PUL/I 和 汇编 语言 的 程序 的 源码 级 调试 功能 ， 并 对 文 持 的 所 有 语言 和 平台 提供 统一 的 失血 
接口 ， 用 户 可 以 快速 地 建立 、 执 行 和 记录 应 用 程序 测试 过 程 。 

ASG-SmartTest 可 以 使 用 户 快 速 地 定位 程序 中 尖 要 测试 的 问题 ， 执 行路 径 和 数据 元 
素 ， 提 高 应 用 程序 质量 ， 可 以 让 用 户 在 测试 过 程 中 动态 调整 数据 值 和 内 存 ， 以 减少 反复 
测试 的 和 需要。 此 外 ，ASG-SmartTest 用 户 可 以 确定 程序 中 所 有 对 应 的 部 分 和 条 件 都 已 经 
被 测试 过 ,，. 标示 出 那些 还 需要 进一步 测试 的 部 分 ， 增 加 用 户 对 被 测试 代码 的 信心 。 

(6) Cantata++ (汉化 版 ) 

开发 公司 ，Information Processing，Ltd. 

工具 简介 : 

作为 一 款 单元 / 集成 测试 工具 ，Cantata++ 提 供 了 动态 测试 、 代 码 容 盖 率 分 析 、 注 态 
分 析 等 功能 ， 可 以 验证 被 测 软 件 是 否 满足 设计 要 求 ， 检测 被 测 软件 在 进行 动态 测试 时 代 
码 执 行 狠 盖 率 ， 用 于 分 析 动 态 测试 效果 及 指导 软件 测试 ， 分 析 被 测 软 件 源 程序 复杂 性 及 
软件 结构 ， 用 于 分 析 被 测 软 件 可 维护 性 及 分 析 被 测 软 件 是 否 符合 编程 标准 。 

Cantata++ 4.0 版 本 新 增加 了 Windows 平台 的 Borland C++、Builder 6.0; Symbain 平 
台 的 UIQ 和 Series 60 编译 器 。 在 即将 发 布 的 新 版 Studio 中 将 增加 自动 生成 中 文 测试 报 
告 的 功能 ， 测 试 脚 本 向 导 的 用 户 界面 有 进一步 的 提 而 和 增强 ， 用 户 可 以 在 测试 脚本 向 导 
中 创建 一 个 完整 的 C/C++ 的 测试 驱动 程序 ， 可 以 在 界面 中 使 用 或 关闭 单个 测试 用 例 ， 并 
且 增 加 了 对 Studio 的 数据 输出 的 选项 。 : 

Cantata++4.0 可 完全 集成 任意 的 柳 入 式 开发 环境 ， 和 常用 开发 环境 MSVC++6.0， 
BorlandC++Bnuilder 的 IDE 界面 完全 集成 ， 对 于 命令 行 的 开发 环境 ， 例 如 Linux 平台 的 
ERC32 开发 环境 CCS2.0.6/RTEMS/SIS Similator，Cantata++ 可 在 makefile 中 和 编译 环境 
完全 集成 。 

(7) UniTester 
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代理 公司 :; 奥 索 公司 〈 参 与 开发 ) 

工具 简介: 

UniTester 是 一 款 汇编 语言 单元 测试 工具 。 它 可 以 在 不 增添 任何 硬件 仿真 器 或 数据 发 
生 器 的 前 提 下 ， 商 效率 、 低 成 本 地 完成 对 8031/51、8086/88、386、8096/98、TMSC3x、 
TMSC6x、1750A 汇编 语言 软件 的 单元 测试 任务 。 其 主要 功能 如 下 。 

被 测 模块 和 测试 用 例 的 管理 与 维护 ，UniTester 提供 一 整套 由 驱动 模块 、 桩 模块 
和 LO 描述 文件 共同 组 成 的 测试 用 例 的 维护 过 程 。 包 括 编辑 测试 用 例 、 配 置 测试 用 例 、 
维护 测试 用 例 〈 测 试用 例 与 被 测 模块 的 一 致 性 检查 功能 ， 包 括 被 测 模块 状态 的 监测 、 显 
示 和 处 理 )。 

名 提供 每 个 被 测 单元 (模块 ) 动态 测试 覆盖 率 指标 : 每 个 测试 用 例 经 动态 测试 后 ， 
统计 出 的 语句 匀 盖 率 和 分 支 滴 盖 率 ; 以 及 在 进行 多 次 测试 后 ， 对 语句 狠 盖 率 和 分 支 科 盖 
率 的 累计 统计 。 

@ 提供 每 个 被 测 单 元 动态 测试 时 的 性 能 指标 : 详细 地 列 出 每 次 动态 测试 过 程 中 , 被 
测 程 序 的 执行 过 程 (包括 分 支 的 走向 、 语 句 执行 的 次 数 、 语 句 占用 的 时 间 、 跳 转 的 方 同 
以 及 次 数 等 )， 用 户 可 以 通过 这 些 信息 ， 完 全 了 解 程序 的 执行 过 程 ， 发 现 和 分 析 问 题 。 

对 设 定 要 追踪 的 对 象 (包括 程序 或 数据 内 存 、 片 内 内 存 、 寄 存 器 、 以 及 变 攻 )， 
在 测试 结束 时 ， 给 出 其 测试 过 程 中 的 变化 过 程 〈 包 括 最 大 值 、 最 小 值 、 均 值 以 及 每 次 数 
据 变 化 的 过 程 )。 

对 设 定 要 进行 数据 比 对 的 对 象 (包括 程序 或 数据 内 存 、 片 内 内 存 、 寄 存 器 、 以 及 
变量 )， 在 每 次 动态 测试 结束 后 ， 给 出 其 比较 结果 ， 并 自动 写 入 测试 报告 。 

在 每 次 动态 结束 后 ， 自 动 给 出 当前 所 有 CPU 寄存 器 的 状态 值 。 

@ 完善 的 嵌入 式 硬 件 环境 模拟 机 制 ，UniTester 提供 一 套 完 善 的 嵌入 式 硬 件 环 境 模 
拟 机 制 ， 其 目的 是 任何 嵌入 式 软件 可 以 不 经 任何 修改 ， 即 可 在 模拟 环境 中 运行 ， 并 完成 
单元 测试 工作 。 包 括 完善 的 VO 描述 机 制 和 完善 的 中 断 描 述 机 制 。 

5， 软 件 开 发 工具 

(1) Telelogic TAU 

开发 公司 : Telelogic 公司 

工具 简介: 

Telelogic TAU Generation 2〈 简 称 ， TAU G2) 是 基于 UML 2.0 语言 的 系统 工程 和 软 
件 工 程 开 发 环境 。 它 是 一 个 可 视 化 的 系统 工程 工具 集 ， 包 括 系 统 设计 与 分 析 工 具 TAU 
Architect、 系 统 实现 工具 TAU Developer、 系 统 测试 工具 TAU Tester。TAU G2 是 基于 
角色 的 ， 为 不 同 目标 用 户 群 提供 不 同 层 次 的 功能 。 同 时 ， 这 些 工具 又 是 建立 在 同一 平台 
上 上 的， 提供 了 统一 的 用 户 界 面 ， 从 而 缩短 了 学 习 周 期 ， 加 速 了 系统 的 实施 。 
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Telelogic TAU/Architect 是 一 个 用 于 复杂 系统 分 析 和 描述 的 现代 的 、 基 于 模型 的 系统 
工程 工具 。 它 支持 可 视 化 语言 UML 2.0， 对 大 型 复杂 系统 全 面 建 模 ， 从 而 得 出 详细 、 易 
于 理解 并 且 是 明确 的 描述 。 使 用 TAU/Architect 后 ， 系 统 工程 师 不 仅 能 描述 结构 ， 还 能 
在 开发 中 描述 系统 的 行为 。 描 述 还 可 以 被 仿真 来 验证 系统 ， 并 可 以 在 开发 早期 问 最 终 用 
户 与 其 他 投资 人 展示 系统 的 行为 。 

Telelogic TAU/Developer 完 全 具备 TAU/Architect 的 功能 ， 并 能 够 生成 高 效 C、C++ 或 
Java 代 码 ， 其 中 Agile C 代 码 专 门面 向 风 入 式 系 统 。 

Telelogic TAU/Tester 是 基于 通用 测试 语言 TTCN-3， 用 于 上 自动 和 集成 测试 的 强大 工 
具 。TTCN-3 是 一 个 现代 的 且 灵 活 的 语言 ,通过 广泛 的 接口 用 于 描述 许多 类 型 的 系统 测试 。 
典型 的 应 用 领域 为 系统 测试 、 交 互 性 测试 、 协 议 测 试 、 服 务 测试 、 模 块 测试 等 。TTCN 
的 平台 独立 性 和 其 特殊 的 测试 能 力 , 使 得 它 被 广泛 地 应 用 于 定义 通 迅 系 统 的 正式 测试 集 。 

除 TAU 第 二 代 工 具 外 ，TAU 还 包括 了 基于 UM1.4， 对 复杂 应 用 软件 进行 分 析 、 建 模 
及 面向 对 象 设 计 的 工具 TAU UML Suite; 协议 一 致 性 测试 工具 环境 TAU TTCN Suite; 软 
件 质量 保障 和 度量 工具 TAU LOGISCOPE; 基于 SDL 和 MSC 的 协议 开发 工具 TAU SDL 
Suite。 

(2) Real-time Studio 

开发 公司 英国 ARTiISAN 公司 

工具 简介 ; 

Real-time Studio 是 一 套 适 合 于 多 用 户 进行 项 目 开 发 的 开发 工具 ， 包 括 Real-time 
Studio Professional 和 Real-time Modejer。 应 用 Real-time Studio 提供 的 一 系列 开发 工具 ， 
项 目 开发 小 组 可 以 实现 软件 及 系统 设计 的 安全 可 靠 、 上 自动 有 效 的 移植 。 

Real-time Studio Professional 能 够 协调 项 目 小 组 各 个 成 员 的 工作 ， 使 项 目的 立项 、 设 
计 及 文档 管理 更 好 地 满足 实时 系统 的 要 求 ， 同 时 使 用 户 的 工作 具有 较 高 的 可 维护 性 。 
Real-time Studio Professional 对 基于 UML 的 建 模 方法 在 实时 系统 设计 方面 进行 了 大 量 的 
扩展 。 | 

Real-time Studio Professional 提供 了 对 逻辑 顺序 图 的 动画 显示 ， 对 状态 模型 的 模拟 ， 
同时 还 集成 了 Altia 的 图 板 显示 ， 应 用 Professional 提供 的 这 些 工具 用 户 ， 可 以 对 系统 及 
软件 行为 的 有 效 性 进行 充分 的 验证 。 

Professional 高 效 的 同步 工具 可 以 使 项 目 工 程 师 实现 C、C++、jJava 源码 与 系统 模型 
框架 的 双向 转换 ， 保 证 源码 设计 与 模型 设计 的 一 致 。 

此 外 ，Real-time Studio Professional 还 集成 了 RTM Workshop 及 Telelogic DOORS， 
来 实现 在 整个 项 目 周期 中 对 需求 管理 的 支持 。 开 发 人 员 可 以 在 DOORS 或 RTM 中 对 实 
时 系统 的 项 目 需 求 进行 设计 ， 在 Real-time Studio Professional 中 完成 系统 的 定义 、 设 计 ， 
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将 不 同 的 需求 设计 与 项 目 设 计 各 个 阶段 中 的 不 同 模型 链接 起 来 。 

”在 配置 管理 方面 ，Real-time Studio Professional 提 供 了 两 种 方案 与 配置 管理 (CM ) 
工具 及 源码 控制 工具 进行 链接 。 一 种 是 应 用 微软 的 CSCC 标 准 为 各 种 模型 及 包 文 件 提供 
直接 的 版 本 支持 ， 另 一 种 是 通过 Real-time Studio Professional OLE 实 现 与 配置 管理 的 自动 
链接 。 

6， 其 他 

(1) SilkTest Intemational™ (测试 平台 ) 

开发 公司 : Segue Software，Inc. 

SilkTest IntemationalrM 是 适用 于 当今 全 球 企业 级 应 用 的 一 种 先进 的 ， 基 于 标准 的 测 
试 平台 。 通 过 SilkTest International，Segue 扩充 了 其 功能 测试 产品 SilkTest@ 的 能 力 ， 
使 用 户 通 过 执行 单一 测试 脚本 ， 同 时 测试 跨 多 语种 、 平 台 和 Web 浏览 器 的 应 用 。 该 系统 
具有 以 下 特点 。 

:' @ 利用 单一 脚本 测试 多 种 语言 : 通过 SilkTest Intemational， 开 发 商 可 以 更 好 地 安 
排 产 品 本 地 化 的 时 间 进 度 。 一 个 单一 的 测试 脚本 可 以 支持 所 有 语种 ， 各 种 语种 的 测试 也 
可 以 同时 进行 ， 加 速 了 产品 面市 时 间 ， 降 低 了 软件 测试 费用 。 

符合 Unicode 标准 支持 双 字 节 : SilkTest International 为 任何 语种 的 应 用 测试 提供 
完整 的 基于 标准 (Unicode) 的 支持 。 对 于 双 字 节 字 符 的 全 面 支 持 可 以 使 其 在 以 前 的 标准 
ASCII 码 所 不 能 支持 的 语言 环境 《如 日 文 ， 简体 中 文 等 ) 下 进行 测试 。 

@@ 对 本 地 化 平台 的 广泛 支持 ; SilkTest International 确保 经 过 本 地 化 的 应 用 能 够 正确 
地 运行 在 当地 的 软件 和 硬件 环境 中 。 一 个 测试 脚本 ， 不 需 更 改 ， 就 可 以 同时 在 多 个 
Windows NT 和 Windows 2000 本 地 版 下 运行 。 由 于 对 多 种 开发 平台 的 支持 ， 测 试 开 发 和 
执行 时 间 更 进一步 的 减少 , 这 些 平台 包括 HTML、JavaScript、 ActiveX、 Java、 Visual Basic 
和 C/C++。SilkTest Intemational 同样 承认 国际 通用 的 键盘 ， 为 与 本 地 化 密切 相关 的 数据 
提供 全 面 的 处 理 ， 例 如 日 期 和 数字 ， 确 保 和 本 地 版 操作 的 一 致 性 。 

由 有 效 的 质量 管理 过 程 ， SilkTest Intemational 无 颖 集成 了 跨 多 平台 、 多 开发 环境 、 
多 浏览 器 的 计划 、 测试 和 报表 功能 。 使 用 SilkTest Intemational， 用户 可 以 共享 测试 计划 、 
语汇 和 执行 成 组 的 基于 用 户 定义 标准 的 测试 用 例 ， 这 些 都 是 集中 控制 的 。 此 外 ， 目 动 化 
的 特点 通过 SilkTest International 独特 的 恢复 系统 得 以 进一步 增强 。 如 果 发 现 某 个 错误 并 
里 使 应 用 发 生 中 断 ， 恢 复 系统 会 记录 这 个 错误 并 使 应 用 重新 复位 到 原状 态 ， 以 便 下 一 个 
测试 用 例 能 够 运行 。 

(2) Bender-RBT〈 和 语 求 分 析 / 测试 用 例 生成 工具 ) 
开发 公司 : 美国 TBI 集团 
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工具 简介 : 

Bender-RBT 是 基于 和 需求 的 测试 用 例 设 计 工 具 , 可 完全 自动 地 设计 功能 测试 用 例 。 因 
为 Bender-RBT 是 基于 功能 需求 的 ， 所 以 可 用 来 测试 不 同 语言 、 不 同 平台 的 应 用 系统 。 
在 使 用 时 ， 只 需 产 生 文本 文件 以 定义 被 测 功能 模块 ，Bender-RBT 将 自动 决定 所 要 求 的 功 
能 变量 ， 并 通过 功能 变量 生成 测试 用 例 。 用 户 不 需 具 备 逻 辑 知识 ， 也 不 必 了 解 算法 如 何 
使 用 因果 图 工作 ， 所 有 这 些 都 由 Bender-RBT 自动 完成 ， 易 于 使 用 。 

在 功能 方面 , Bender-RBT 以 可 读 英文 格式 产生 测试 用 例 ,， 这 使 得 非 技术 人 员 也 可 以 
评审 测试 ; 该 工具 可 评估 现成 的 测试 用 例 库 , 并 可 设计 补充 需要 的 测试 用 例 以 达到 100% 
的 功能 儿 盖 ， 这 对 维护 管理 测试 用 例 库 非常 有 用 。 作 为 自动 退化 测试 工具 的 前 端 工具 ， 
Bender-RBT 可 与 许多 捕捉 /回放 工具 接口 集成 使 用 。 此 外 ，Bender-RBT 提供 测试 用 例 追 
踪 性 需求 ， 它 可 产生 符合 MIL-STD-498 前身 为 MIL-STD-2167A〉 的 部 分 文档 。 

通过 应 用 Bender-RBT， 可 以 达到 以 下 效果 。 

”增加 测试 的 有 效 性 Bendert-RBT 通过 设计 测试 用 例 可 达到 100% 的 功能 轿 盖 。 
代码 黎 盖 率 超过 70% 一 90%， 接 近 两 倍 于 典型 测试 的 30% 一 50% 代 码 柳 盖 率 。 

@ 增加 测试 效率 : 因为 Bender-RBT 采用 精确 的 数学 方法 〈 明 感 路 径 算法 ) 设计 测 
试用 例 ， 所 以 测试 用 例 没 有 元 余 ， 这 样 ， 退 化 测试 库 比 通常 的 方法 要 小 30% 一 50%。 

(3 缩短 开发 周期 ，Bender-RBT 可 与 产品 分 析 、 设 计 及 编程 各 阶段 同时 进行 ， 早 期 
的 错误 检测 可 减少 项 目 费 用 并 可 节省 时 间 。 许 多 Bender-RBT 用 户 在 编程 之 前 即 已 进行 
功能 测试 。 

(3) ADS-2《〈 系 统 测试 平台 ) 

开发 公司 : 北京 旋 极 信息 技术 有 限 公司 

工具 简介 : 

ADS-2 是 以 通用 的 工业 标准 为 基础 的 分 布 式 的 实时 系统 。 它 的 WO 和 实时 子 系统 运 
行 在 VME 主机 上 ,VME 主机 提供 仿真 运行 的 CPU 资源 。 用 户 接 口 系 统 对 通用 的 UNIX 
平台 也 是 可 用 的 ， 并 提供 所 有 需要 的 工具 以 配置 、 控 制 实时 系统 ， 实 时 系统 发 射 、 控 制 
仿 球 的 运行 。 监 控 、 分 析 数 据 流 并 记录 数据 。 所 有 功能 都 同时 对 用 户 有 效 。 

通过 使 用 接口 控制 文档 (ICD), 可 支持 所 有 的 数据 分 析 和 数据 定义 , 为 了 系统 设计 ， 
ICD 提供 了 相关 的 数据 库 ， 允 许 所 有 的 信息 和 数据 格式 定义 到 参数 级 。 不 需要 用 户 过 多 
地 介入 ， 描 述 性 语言 可 以 进行 重复 性 测试 、 运 行 脚本 。 

作为 开放 系统 的 ADS-2， 提 供 通用 第 三 方 软件 接口 ， 如 Matrix X 仿真 代码 发 生 器 和 
VAPS。Workbench 或 TCL/TK 可 显示 系统 原型 和 运行 情况 。 函 数 库 提供 了 与 任意 的 模拟 
应 用 程序 和 虚拟 仪器 程序 ， 如 LabView 和 HP VEE 的 接口 。 模 拟 和 接口 原型 能 够 通过 
TCP/IP、 共 享 RAM 或 高 带宽 的 确定 网 络 ， 如 'FastLink 或 ScramNet， 访 问 ADS-2。 
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作为 模块 化 的 系统 ,， ADS-2 可 不 同 规模 地 满足 特殊 环境 下 的 特别 需要 , 如 IO 类型， 
LO 资源 的 数量 ， 处 理 能 力 和 功能 (人 分析、 数据 采集 、 模 拟 ) 的 要 求 。ADS-2 系统 可 以 
配置 成 在 典型 的 实验 室 环境 和 非常 恶劣 的 环境 中 使 用 ， 如 飞行 测试 环境 。 

ADS-2 提供 的 主要 功能 包括 数据 采集 与 分 析 、 模 拟 、 仿 真 与 激励 、 测 试 支持 函数 

(TSF) 程序 、TECL 用 户 扩展 、VME 实时 计算 和 UVO、FIBO 故障 注入 与 获取 单元 、 仿 
真 、 激 励 和 模拟 等 。 
(4) Datafactory (数据 库 装载 工具 ) 

开发 公司 :; Quest 公司 

工具 简介 ， 

Datafactory 是 一 款 能 够 在 短 时 间 内 将 大 重 数据 装载 到 数据 库 的 工具 软件 ， 只 要 几 次 
鼠标 单 击 就 能 够 根据 具体 要 求 , 生成 一 个 含有 数 百 万 行 数据 的 数据 库 。 其 主要 功能 包括 : 
所 生成 的 数据 具有 测试 的 实际 意义 ， 例 如 姓名 、 地 址 、 年 龄 和 邮政 编码 都 是 模拟 实际 情 
况 生成 的 ; 数据 量 足够 大 , 能 够 模仿 用 户 访问 高 峰 时 的 状态 ; 可 以 和 Oracle、DB2、Sybase、 
SQL Server 等 数据 库 通过 ODBC 直接 连接 : 允许 用 户 使 用 自己 的 数据 信息 (比如 文本 形 
式 的 数据 ) 对 数据 库 进行 装载 。 

(5) EasyLinux Development Kit for ARM 

开发 公司 ; Micetek International Inc. 

工具 简介 ， 

EasyLinux Development Kit for ARM 是 针对 ARM 学 习 者 和 开发 工程 师 提 供 一 个 完 
整 的 解决 方案 。 这 一 方案 包括 Hitool 集成 开发 环境 、GNU 编译 器 、Linux 开发 包 、TCP/IP 
网 络 协议 栈 、 文 件 管理 系统 、 图 形 包 、Embedded JTAG 在 线 仿真 器 、ARM 开发 板 、 板 
级 驱动 软件 包 (BSP) 和 参考 设计 原理 图 。 

其 集成 开发 环境 Hitool 使 基于 Windows 平台 下 ，Linux Kemel 裁减 -编辑 -Kemel 编 
译 调试 -应 用 程序 编译 调试 统一 于 同一 开发 环境 ， 并 可 实现 Kernel 跟踪 功能 和 Kemel 
aware debugger。 

7. 仪器 仪表 

(1) 安捷伦 N3900A 模块 化 光 网 络 测试 仪 

开发 公司 ， 安 捷 伦 公司 

工具 简介 : 

安捷伦 N3900A 模块 化 光 网 络 测试 仪 为 安装 .运行 和 维护 光 网 络 提供 了 一 个 重量 轻 、 
坚固 耐用 的 便携 式 测试 系统 。 采 用 模块 化 设计 , 可 在 您 需要 时 提供 各 种 所 需 的 测试 功能 。 
模块 化 测试 平台 使 N3900A 具有 多 种 测试 方案 组 合 ， 具 有 强大 的 可 扩展 性 。 

它 集 OTDR 功能 、 损 三 测试 功能 、DWDM 功能 及 PMD/CD 色散 测试 功能 于 一 身 。 
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附录 ; 测试 工具 介绍 697 


具有 触摸 屏 与 按键 操作 方式 ， 以 及 安捷伦 专利 的 浏览 键 。 屏 幕 图 形 显示 的 内 置 光 显 微 镜 
用 于 快速 检查 光 接 头 。N3900A 具有 “业务 检测 ”功能 ， 可 以 防止 用 户 在 工作 光纤 上 错 
误 地 启动 OTDR 测量 。 测 试 采用 最 精确 的 琼斯 矩阵 算法 。 具 有 大 容量 固态 存储 器 ,有效 
防 铸 动 和 撞击 。 

(2) FrameScope350 局 域 网 性 能 分 析 仪 

FrameScope350 局 域 网 性 能 分 析 仪 是 能 够 使 用 客观 的 性 能 指标 目 动 测量 ， 并 报告 常 
见 网 络 业 务 性 能 的 手持 式 分 析 仪 。 可 方便 、 自 动 、 迅 速 的 帮助 用 户 识 别 网 络 运 行 状态 ， 
包括 计算 机 节点 、 协 议 统计 分 布 及 网 络 啊 应 时 间 等 。 同 时 具有 线 缆 认 证 功能 ， 可 以 快速 
测试 6 类 及 E 级 线 绕 ，。 

FrameScope350 局 域 网 性 能 分 析 仪 可 以 测量 和 确定 网 络 中 服务 器 、 文 件 服务 器 、 电 
子 邮 件 服务 器 、 打 印 DNS 和 DHCP 等 关键 资源 的 响应 时 间 。Ping、TraceRoute 和 SNMP 
查询 功能 可 以 测试 到 用 户 定义 的 设备 的 连接 能 力 。 流 量 发 生 功 能 可 以 测试 网 络 在 重 载 情 
况 下 的 性 能 。MAC 环 回 可 以 测量 以 太 网 中 的 吞吐 和 量 、 损 耗 、 时 延 和 偏差 。 全 方位 网 络 
测试 ， 能 够 对 协议 、 配 置 、 性 能 和 布线 故障 迅速 定位 和 排除 。 通 过 网 络 发 现 功能 ， 用 户 
可 以 检查 网 络 ， 创 建 包 括 工 作 站 、 交 换 站 、 路 由 器 、 服 务 器 和 其 他 网 络 设备 的 完整 列表 。 
采用 简便 易 用 的 彩色 触摸 屏 界面 ， 可 以 生成 电缆 图 形 测 试 报告 ， 并 可 实现 远程 控制 。 

(3) LANpilot 学 上 型 网 络 分 析 仪 

工具 简介 : 

LANpilot 党 上 型 网 络 分 析 仪 是 一 款 人 掌上 型 网 络 协议 分 析 解 决 方案 。 它 提供 了 实时 网 
络 统计 、 流 量 分 析 ， 自 动 识 别 各 种 协议 和 协议 解码 。 只 需 简单 地 将 LANpilot 连接 到 网 络 
中 ， 就 能 方便 地 进行 网 络 维护 和 故障 定位 。 

LANpilot 学 上 型 网 络 分 析 仪 具 有 强大 的 网 络 统计 功能 , 不 仅 可 以 按照 网 络 节点 、 IP、 
VoIP、 数 据 包 、 字 节 数 、 包 长 、 广 播 数 进行 统计 ， 更 可 以 按照 业务 应 用 (FTP、Telnet、 
Mail、Web、News、VolP、NetBIOS、SNMP) 进行 统计 ， 轻 松 统计 网 络 利 用 率 、 错 误 率 ， 
自动 生成 带宽 占用 矩阵 图 、 流 量 统计 表 。 

LANpilot 掌上 型 网 络 分 析 仪 可 对 协议 进行 详细 解码 、 分 析 ， 可 实时 进行 性 能 监测 ， 
解码 2、3 层 ，TCP/IP 和 应 用 协议 。 其 强大 的 过 滤 功 能 ， 帮 助 用 户 自由 选择 关注 的 数据 。 
此 外 它 具 有 Ping、TraceRoute 功能 、 自 动 节点 发 现 、 吞 吐 重 测试 、PPPoE 测试 、WLAN 
测试 、 报 告 中 心 、 在 线 帮助 以 及 无 线 打印 等 功能 。 同 时 支持 IPv6、10/100M 以 太 接口 ， 
接 入 方便 。 

(4) SuperLink 网 络 测试 仪 
工具 简介 : 
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“SuperLink 网 络 测试 仪 作 为 多 网 络 、 多 规程 测试 和 分 析 的 综合 平台 ; 面向 固定 网 和 移 
动 网 的 网 络 建设 、 运 营 维护 、 设 备 调试 和 网 络 优 化 分 析 ， 已 在 电话 交换 网 、 智 能 网 、 
GSM/CDMA/GPRS 移动 网 、 移 动 智能 网 、ISDN 网 和 接 入 网 中 得 到 了 广泛 应 用 。 

SuperLink 网 络 测试 仪 一 表 多 用 , 能 满足 电信 维护 的 全 面 需 要 , 支持 的 协议 包括 MTP、 
TUP、 ISUP、SCCP、TCAP、INAP、GSM-MAP、GSM-CAP、GSM-A 接口 、GSM-Abis 
接口 、GB 接口 、CDMA-MAP、CDMA-A 接口 、V5.1/V5.2、DSS1/PRA、1 号 随 路 信 令 等 。 

SuperLink 网 络 测试 仪 具有 在 线 监 测 、 协 议 解 析 、 协 议 统计 、 呼 叫 /事务 分 析 和 网 络 
特性 分 析 功 能 、 强 大 的 数据 库 分 析 功能 、 自 定义 过 滤 、 数 据 捕捉、 专家 分 析 功 能 ， 帮 助 
用 户 迅 速 定 位 故障 ， 深 入 剖析 问题 原因 。 具 有 多 种 数据 输出 方式 ， 如 数据 文件 、text 文 
本 、Excel、Bmp、 数 据 库 、 自 定义 报表 或 直接 打印 。 

SuperLink 网 络 测试 仪 单机 可 配置 16 条 双向 2Mb/s 链 路 ， 每 条 链 路 支持 全 时 院 
(31/32)、N X64Kb/s 或 高 速 2Mb 信 令 方式 ， 单 机 可 测 链 路 商 达 256 条 。 并 可 基于 多 前 
端 联网 或 数字 交叉 连接 系统 (DXC) 链 路 收敛 测试 ， 配 置 多 达 496 条 双向 2Mb/s 链 路 ， 
可 用 于 建立 大 型 测试 系统 或 监测 系统 。 

(5) WireScope350 线 绕 认证 测试 仪 

工具 简介 : 

WireScope350 线 缆 认 证 测试 仪 可 用 于 光缆 、 电 费 日 常 维护 测试 和 “综合 布线 系统 ” 
质量 认证 测试 。 测 试 精度 超过 TIA、ISO III 级 标准 ， 并 可 跟踪 实验 室 标准 。 

WireScope350 线 绕 认证 测试 仪 测试 项 目 涵盖 了 线 序 图 、 电 缆 长 度 、 近 端 品 扰 、 衰 减 、 
等 效 远 端 串 扰 、 回 波 损耗 、 环 绕 噪 声 、 传 播 时 延 、 环 路 电阻 等 国际 、 国 内 最 新 标准 的 要 
求 。 可 认证 安装 的 局 域 网 布线 系统 是 否 符合 国际 、 国 家 标准 ， 包 括 TIA 三 类 、 五 类 、 超 
五 类 、 六 类 和 ISOD 级 和 E 级 标准 。 单 端 可 测 线 缆 长 度 ， 对 线 线 中 的 每 对 线 准 确 故 障 定 
位 。 识 别 错 接 、 短 路 、 开 路 、 反 接 和 线 对 分 开 ， 检 测 屏蔽 层 的 连续 性 。 

WireScope350 线 缴 认证 测试 仪 单 端 即 可 测试 线 费 长 度 ， 对 线 费 中 的 每 对 线 进 行 准确 
故障 定位 。 可 选单 、 多 模 光 纤 测 试 模块 ， 额 外 附 赠 光源 、 光 功率 计 测 试 功能 ， 一 机 多 用 ， 
性 价 比 极 高 。LED 指示 灯 直 观 方便 地 显示 测试 进度 、 测 试 失败 原因 等 。 支 持 对 讲 功 能 ， 
通用 CF 存储 卡 ，USB 数据 传输 接口 。 附 带 的 “ScopeData Pro” 软 件 可 生成 专业 质量 的 
图 形 测试 报告 ， 自 动 生 成 、 打 印 标签 ， 并 提供 完善 的 在 线 帮 助 。 
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根据 类 事 部 、 信 息 产 业 部 文件 计算 机 技术 与 软件 专业 技术 资 

翌 (水 于) ee 人 员 职 业 资 格 证 书 制度 的 统一 规 

划 。 通 过 考试 获得 证 书 的 人 人员， 表明 其 已 其 备 从 事 相 应 专业 岗位 工 

作 的 水 平和 和 能力， 用 人 单位 可 根据 工 作 生 要 从 获得 证 书 的 人 员 中 树 

优 聘 任 相 应 专业 技术 职务 ( 技术员、 助理 工程 师 、 工 程 师 、 高 级 工 

程 师 ) 。 计算 机 技术 与 软件 专业 实施 全 国 统一 考试 后 ， 不 再 进行 相 
应 专业 技 术 职 务 任职 资格 的 评审 工作 。 
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